<!DOCTYPE HTML>
<html lang="en" >
    
    <head>
        
        <meta charset="UTF-8">
        <meta http-equiv="X-UA-Compatible" content="IE=edge" />
        <title>scrapy_setting | 爬虫</title>
        <meta content="text/html; charset=utf-8" http-equiv="Content-Type">
        <meta name="description" content="">
        <meta name="generator" content="GitBook 2.6.7">
        
        
        <meta name="HandheldFriendly" content="true"/>
        <meta name="viewport" content="width=device-width, initial-scale=1, user-scalable=no">
        <meta name="apple-mobile-web-app-capable" content="yes">
        <meta name="apple-mobile-web-app-status-bar-style" content="black">
        <link rel="apple-touch-icon-precomposed" sizes="152x152" href="../gitbook/images/apple-touch-icon-precomposed-152.png">
        <link rel="shortcut icon" href="../gitbook/images/favicon.ico" type="image/x-icon">
        
    <link rel="stylesheet" href="../gitbook/style.css">
    
        
        <link rel="stylesheet" href="../gitbook/plugins/gitbook-plugin-highlight/website.css">
        
    
        
        <link rel="stylesheet" href="../gitbook/plugins/gitbook-plugin-search/search.css">
        
    
        
        <link rel="stylesheet" href="../gitbook/plugins/gitbook-plugin-fontsettings/website.css">
        
    
    

        
    
    
    <link rel="next" href="../scrapy框架/模块作用.html" />
    
    
    <link rel="prev" href="../scrapy框架/scrapy.html" />
    

        
    </head>
    <body>
        
        
    <div class="book"
        data-level="8.1"
        data-chapter-title="scrapy_setting"
        data-filepath="scrapy框架/scrapy_setting.md"
        data-basepath=".."
        data-revision="Fri Oct 19 2018 08:44:08 GMT+0800 (中国标准时间)"
        data-innerlanguage="">
    

<div class="book-summary">
    <nav role="navigation">
        <ul class="summary">
            
            
            
            

            

            
    
        <li class="chapter " data-level="0" data-path="index.html">
            
                
                    <a href="../index.html">
                
                        <i class="fa fa-check"></i>
                        
                        序言
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="1" data-path="认识爬虫/introduceSpider.html">
            
                
                    <a href="../认识爬虫/introduceSpider.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>1.</b>
                        
                        认识爬虫
                    </a>
            
            
            <ul class="articles">
                
    
        <li class="chapter " data-level="1.1" data-path="认识爬虫/http.html">
            
                
                    <a href="../认识爬虫/http.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>1.1.</b>
                        
                        HTTP
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="1.2" data-path="认识爬虫/Requests.html">
            
                
                    <a href="../认识爬虫/Requests.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>1.2.</b>
                        
                        requests
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="1.3" data-path="认识爬虫/初步爬虫.html">
            
                
                    <a href="../认识爬虫/初步爬虫.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>1.3.</b>
                        
                        初步爬虫小项目
                    </a>
            
            
        </li>
    

            </ul>
            
        </li>
    
        <li class="chapter " data-level="2" data-path="正则表达式/正则表达式.html">
            
                
                    <a href="../正则表达式/正则表达式.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>2.</b>
                        
                        正则表达式
                    </a>
            
            
            <ul class="articles">
                
    
        <li class="chapter " data-level="2.1" data-path="正则表达式/正则表达式练习.html">
            
                
                    <a href="../正则表达式/正则表达式练习.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>2.1.</b>
                        
                        正则表达式练习
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="2.2" data-path="正则表达式/正则表达式之后的第一个项目.html">
            
                
                    <a href="../正则表达式/正则表达式之后的第一个项目.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>2.2.</b>
                        
                        正则表达式之后的第一个项目
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="2.3" data-path="正则表达式/正则表达式常用表.html">
            
                
                    <a href="../正则表达式/正则表达式常用表.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>2.3.</b>
                        
                        正则表达式常用表
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="2.4" data-path="正则表达式/正则表达式重点1.html">
            
                
                    <a href="../正则表达式/正则表达式重点1.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>2.4.</b>
                        
                        正则表达式重点
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="2.5" data-path="正则表达式/正则表达式常问问题.html">
            
                
                    <a href="../正则表达式/正则表达式常问问题.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>2.5.</b>
                        
                        正则表达式常问问题
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="2.6" data-path="正则表达式/正则爬虫练习.html">
            
                
                    <a href="../正则表达式/正则爬虫练习.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>2.6.</b>
                        
                        正则爬虫项目练习
                    </a>
            
            
        </li>
    

            </ul>
            
        </li>
    
        <li class="chapter " data-level="3" data-path="XPATH/xpath-in.html">
            
                
                    <a href="../XPATH/xpath-in.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>3.</b>
                        
                        XPATH
                    </a>
            
            
            <ul class="articles">
                
    
        <li class="chapter " data-level="3.1" data-path="XPATH/Xpath.html">
            
                
                    <a href="../XPATH/Xpath.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>3.1.</b>
                        
                        XPATH认识
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="3.2" data-path="XPATH/Xpath的代码例子.html">
            
                
                    <a href="../XPATH/Xpath的代码例子.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>3.2.</b>
                        
                        XPATH的代码例子
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="3.3" data-path="XPATH/xpath的爬虫练习.html">
            
                
                    <a href="../XPATH/xpath的爬虫练习.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>3.3.</b>
                        
                        XPATH的爬虫练习
                    </a>
            
            
        </li>
    

            </ul>
            
        </li>
    
        <li class="chapter " data-level="4" data-path="BeautifulSoup/BeautifulSoup.html">
            
                
                    <a href="../BeautifulSoup/BeautifulSoup.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>4.</b>
                        
                        BeautifulSoup
                    </a>
            
            
            <ul class="articles">
                
    
        <li class="chapter " data-level="4.1" data-path="BeautifulSoup/常用的css选择器.html">
            
                
                    <a href="../BeautifulSoup/常用的css选择器.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>4.1.</b>
                        
                        常用的css选择器
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="4.2" data-path="BeautifulSoup/BeautifulSoup4的各种例子.html">
            
                
                    <a href="../BeautifulSoup/BeautifulSoup4的各种例子.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>4.2.</b>
                        
                        BeautifulSoup4的各种例子
                    </a>
            
            
        </li>
    

            </ul>
            
        </li>
    
        <li class="chapter " data-level="5" data-path="代理/proxy.html">
            
                
                    <a href="../代理/proxy.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>5.</b>
                        
                        ip代理池项目
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="6" data-path="Selenium/Selenium.html">
            
                
                    <a href="../Selenium/Selenium.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>6.</b>
                        
                        Selenium
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="7" data-path="进程线程协程/introduce.html">
            
                
                    <a href="../进程线程协程/introduce.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>7.</b>
                        
                        进程线程协程
                    </a>
            
            
            <ul class="articles">
                
    
        <li class="chapter " data-level="7.1" data-path="进程线程协程/gevent.html">
            
                
                    <a href="../进程线程协程/gevent.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>7.1.</b>
                        
                        gevent
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="7.2" data-path="进程线程协程/green_let.html">
            
                
                    <a href="../进程线程协程/green_let.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>7.2.</b>
                        
                        green_let
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="7.3" data-path="进程线程协程/yield.html">
            
                
                    <a href="../进程线程协程/yield.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>7.3.</b>
                        
                        yield
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="7.4" data-path="进程线程协程/multiprecessing.html">
            
                
                    <a href="../进程线程协程/multiprecessing.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>7.4.</b>
                        
                        multiprecessing
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="7.5" data-path="进程线程协程/threading.html">
            
                
                    <a href="../进程线程协程/threading.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>7.5.</b>
                        
                        threading
                    </a>
            
            
        </li>
    

            </ul>
            
        </li>
    
        <li class="chapter " data-level="8" data-path="scrapy框架/scrapy.html">
            
                
                    <a href="../scrapy框架/scrapy.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>8.</b>
                        
                        Scrapy
                    </a>
            
            
            <ul class="articles">
                
    
        <li class="chapter active" data-level="8.1" data-path="scrapy框架/scrapy_setting.html">
            
                
                    <a href="../scrapy框架/scrapy_setting.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>8.1.</b>
                        
                        scrapy_setting
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="8.2" data-path="scrapy框架/模块作用.html">
            
                
                    <a href="../scrapy框架/模块作用.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>8.2.</b>
                        
                        模块作用
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="8.3" data-path="scrapy框架/19个中间件.html">
            
                
                    <a href="../scrapy框架/19个中间件.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>8.3.</b>
                        
                        19个中间件
                    </a>
            
            
        </li>
    

            </ul>
            
        </li>
    
        <li class="chapter " data-level="9" data-path="scrapy-redis分布式/scrapy-redis.html">
            
                
                    <a href="../scrapy-redis分布式/scrapy-redis.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>9.</b>
                        
                        scrapy-redis分布式
                    </a>
            
            
            <ul class="articles">
                
    
        <li class="chapter " data-level="9.1" data-path="scrapy-redis分布式/scrapy-redis的改造方法.html">
            
                
                    <a href="../scrapy-redis分布式/scrapy-redis的改造方法.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>9.1.</b>
                        
                        scrapy-redis的改造方法
                    </a>
            
            
        </li>
    

            </ul>
            
        </li>
    
        <li class="chapter " data-level="10" data-path="spider_projects/introduce.html">
            
                
                    <a href="../spider_projects/introduce.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>10.</b>
                        
                        spider_projects
                    </a>
            
            
            <ul class="articles">
                
    
        <li class="chapter " data-level="10.1" data-path="spider_projects/使用代理在普通爬虫脚本下.html">
            
                
                    <a href="../spider_projects/使用代理在普通爬虫脚本下.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>10.1.</b>
                        
                        使用代理在普通爬虫脚本下
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="10.2" data-path="spider_projects/xpath爬取前程无忧的数据.html">
            
                
                    <a href="../spider_projects/xpath爬取前程无忧的数据.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>10.2.</b>
                        
                        xpath爬取前程无忧的数据
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="10.3" data-path="spider_projects/存储数据库的脚本.html">
            
                
                    <a href="../spider_projects/存储数据库的脚本.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>10.3.</b>
                        
                        存储数据库的脚本
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="10.4" data-path="spider_projects/weibo.html">
            
                
                    <a href="../spider_projects/weibo.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>10.4.</b>
                        
                        爬取央视新闻微博
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="10.5" data-path="spider_projects/weibo2.html">
            
                
                    <a href="../spider_projects/weibo2.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>10.5.</b>
                        
                        爬取明星的微博
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="10.6" data-path="spider_projects/liepin.html">
            
                
                    <a href="../spider_projects/liepin.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>10.6.</b>
                        
                        爬取猎聘的职位信息Crawl
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="10.7" data-path="spider_projects/zhilianRe.html">
            
                
                    <a href="../spider_projects/zhilianRe.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>10.7.</b>
                        
                        纯正则爬取智联的职位信息
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="10.8" data-path="spider_projects/setting.html">
            
                
                    <a href="../spider_projects/setting.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>10.8.</b>
                        
                        scrapy中的setting
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="10.9" data-path="spider_projects/items.html">
            
                
                    <a href="../spider_projects/items.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>10.9.</b>
                        
                        scrapy中的items
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="10.10" data-path="spider_projects/pipeline.html">
            
                
                    <a href="../spider_projects/pipeline.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>10.10.</b>
                        
                        scrapy中的pipeline
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="10.11" data-path="spider_projects/middlewares.html">
            
                
                    <a href="../spider_projects/middlewares.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>10.11.</b>
                        
                        scrapy中的middlewares
                    </a>
            
            
        </li>
    
        <li class="chapter " data-level="10.12" data-path="spider_projects/框架中的代码运行脚本.html">
            
                
                    <a href="../spider_projects/框架中的代码运行脚本.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>10.12.</b>
                        
                        框架中的代码运行脚本
                    </a>
            
            
        </li>
    

            </ul>
            
        </li>
    
        <li class="chapter " data-level="11" data-path="爬虫的面试题/面试题1-10.html">
            
                
                    <a href="../爬虫的面试题/面试题1-10.html">
                
                        <i class="fa fa-check"></i>
                        
                            <b>11.</b>
                        
                        爬虫面试题
                    </a>
            
            
        </li>
    


            
            <li class="divider"></li>
            <li>
                <a href="https://www.gitbook.com" target="blank" class="gitbook-link">
                    Published with GitBook
                </a>
            </li>
            
        </ul>
    </nav>
</div>

    <div class="book-body">
        <div class="body-inner">
            <div class="book-header" role="navigation">
    <!-- Actions Left -->
    

    <!-- Title -->
    <h1>
        <i class="fa fa-circle-o-notch fa-spin"></i>
        <a href="../" >爬虫</a>
    </h1>
</div>

            <div class="page-wrapper" tabindex="-1" role="main">
                <div class="page-inner">
                
                
                    <section class="normal" id="section-">
                    
                        <h2 id="scrapy&#x5185;&#x7F6E;&#x8BBE;&#x7F6E;&#x53C2;&#x8003;-setting">scrapy&#x5185;&#x7F6E;&#x8BBE;&#x7F6E;&#x53C2;&#x8003; setting</h2>
<p>&#x4EE5;&#x4E0B;&#x662F;&#x6240;&#x6709;&#x53EF;&#x7528;Scrapy&#x8BBE;&#x7F6E;&#x7684;&#x5217;&#x8868;&#xFF0C;&#x6309;&#x5B57;&#x6BCD;&#x987A;&#x5E8F;&#xFF0C;&#x4EE5;&#x53CA;&#x5176;&#x9ED8;&#x8BA4;&#x503C;&#x548C;&#x9002;&#x7528;&#x8303;&#x56F4;&#x3002;</p>
<p>&#x8303;&#x56F4;&#xFF08;&#x5982;&#x679C;&#x53EF;&#x7528;&#xFF09;&#x663E;&#x793A;&#x8BBE;&#x7F6E;&#x5728;&#x54EA;&#x91CC;&#x4F7F;&#x7528;&#xFF0C;&#x5982;&#x679C;&#x5B83;&#x7ED1;&#x5B9A;&#x5230;&#x4EFB;&#x4F55;&#x7279;&#x5B9A;&#x7EC4;&#x4EF6;&#x3002;&#x5728;&#x8FD9;&#x79CD;&#x60C5;&#x51B5;&#x4E0B;&#xFF0C;&#x5C06;&#x663E;&#x793A;&#x8BE5;&#x7EC4;&#x4EF6;&#x7684;&#x6A21;&#x5757;&#xFF0C;&#x901A;&#x5E38;&#x662F;&#x6269;&#x5C55;&#xFF0C;&#x4E2D;&#x95F4;&#x4EF6;&#x6216;&#x7BA1;&#x9053;&#x3002;&#x8FD9;&#x4E5F;&#x610F;&#x5473;&#x7740;&#x5FC5;&#x987B;&#x542F;&#x7528;&#x7EC4;&#x4EF6;&#x624D;&#x80FD;&#x4F7F;&#x8BBE;&#x7F6E;&#x5177;&#x6709;&#x4EFB;&#x4F55;&#x6548;&#x679C;&#x3002;</p>
<h3 id="awsaccesskeyid">AWS_ACCESS_KEY_ID</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>None</code></p>
<p>&#x7531;&#x9700;&#x8981;&#x8BBF;&#x95EE;<a href="https://aws.amazon.com/" target="_blank">Amazon Web&#x670D;&#x52A1;</a>&#x7684;&#x4EE3;&#x7801;&#x4F7F;&#x7528;&#x7684;AWS&#x8BBF;&#x95EE;&#x5BC6;&#x94A5;&#xFF0C;&#x4F8B;&#x5982;<a href="https://doc.scrapy.org/en/1.3/topics/feed-exports.html#topics-feed-storage-s3" target="_blank">S3&#x6E90;&#x5B58;&#x50A8;&#x540E;&#x7AEF;</a>&#x3002;</p>
<h3 id="awssecretaccesskey">AWS_SECRET_ACCESS_KEY</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>None</code></p>
<p>&#x7531;&#x9700;&#x8981;&#x8BBF;&#x95EE;Amazon Web&#x670D;&#x52A1;&#x7684;&#x4EE3;&#x7801;&#x4F7F;&#x7528;&#x7684;AWS&#x5BC6;&#x94A5;&#xFF0C;&#x4F8B;&#x5982;S3&#x6E90;&#x5B58;&#x50A8;&#x540E;&#x7AEF;&#x3002;</p>
<h3 id="botname">BOT_NAME</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>&apos;scrapybot&apos;</code></p>
<p>&#x6B64;Scrapy&#x9879;&#x76EE;&#x5B9E;&#x65BD;&#x7684;bot&#x7684;&#x540D;&#x79F0;&#xFF08;&#x4E5F;&#x79F0;&#x4E3A;&#x9879;&#x76EE;&#x540D;&#x79F0;&#xFF09;&#x3002;&#x8FD9;&#x5C06;&#x7528;&#x4E8E;&#x9ED8;&#x8BA4;&#x60C5;&#x51B5;&#x4E0B;&#x6784;&#x9020;User-Agent&#xFF0C;&#x4E5F;&#x7528;&#x4E8E;&#x65E5;&#x5FD7;&#x8BB0;&#x5F55;&#x3002;</p>
<p>&#x5F53;&#x60A8;&#x4F7F;&#x7528;<code>startproject</code>&#x547D;&#x4EE4;&#x521B;&#x5EFA;&#x9879;&#x76EE;&#x65F6;&#xFF0C;&#x5B83;&#x4F1A;&#x81EA;&#x52A8;&#x586B;&#x5145;&#x60A8;&#x7684;&#x9879;&#x76EE;&#x540D;&#x79F0;&#x3002;</p>
<h3 id="concurrentitems">CONCURRENT_ITEMS</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>100</code></p>
<p>&#x5728;&#x9879;&#x5904;&#x7406;&#x5668;&#xFF08;&#x4E5F;&#x79F0;&#x4E3A;<a href="https://doc.scrapy.org/en/1.3/topics/item-pipeline.html#topics-item-pipeline" target="_blank">&#x9879;&#x76EE;&#x7BA1;&#x9053;</a>&#xFF09;&#x4E2D;&#x5E76;&#x884C;&#x5904;&#x7406;&#x7684;&#x5E76;&#x53D1;&#x9879;&#x76EE;&#x7684;&#x6700;&#x5927;&#x6570;&#x91CF;&#xFF08;&#x6BCF;&#x4E2A;&#x54CD;&#x5E94;&#xFF09;&#x3002;</p>
<h3 id="concurrentrequests">CONCURRENT_REQUESTS</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>16</code></p>
<p>&#x5C06;&#x7531;Scrapy&#x4E0B;&#x8F7D;&#x7A0B;&#x5E8F;&#x6267;&#x884C;&#x7684;&#x5E76;&#x53D1;&#xFF08;&#x5373;&#x540C;&#x65F6;&#xFF09;&#x8BF7;&#x6C42;&#x7684;&#x6700;&#x5927;&#x6570;&#x91CF;&#x3002;</p>
<h3 id="concurrentrequestsperdomain">CONCURRENT_REQUESTS_PER_DOMAIN</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>8</code></p>
<p>&#x5C06;&#x5BF9;&#x4EFB;&#x4F55;&#x5355;&#x4E2A;&#x57DF;&#x6267;&#x884C;&#x7684;&#x5E76;&#x53D1;&#xFF08;&#x5373;&#x540C;&#x65F6;&#xFF09;&#x8BF7;&#x6C42;&#x7684;&#x6700;&#x5927;&#x6570;&#x91CF;&#x3002;</p>
<p>&#x53C2;&#x89C1;&#xFF1A;<a href="https://doc.scrapy.org/en/1.3/topics/autothrottle.html#topics-autothrottle" target="_blank">AutoThrottle&#x6269;&#x5C55;</a>&#x53CA;&#x5176; <code>AUTOTHROTTLE_TARGET_CONCURRENCY</code>&#x9009;&#x9879;&#x3002;</p>
<h3 id="concurrentrequestsperip">CONCURRENT_REQUESTS_PER_IP</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>0</code></p>
<p>&#x5C06;&#x5BF9;&#x4EFB;&#x4F55;&#x5355;&#x4E2A;IP&#x6267;&#x884C;&#x7684;&#x5E76;&#x53D1;&#xFF08;&#x5373;&#x540C;&#x65F6;&#xFF09;&#x8BF7;&#x6C42;&#x7684;&#x6700;&#x5927;&#x6570;&#x91CF;&#x3002;&#x5982;&#x679C;&#x975E;&#x96F6;&#xFF0C;<code>CONCURRENT_REQUESTS_PER_DOMAIN</code>&#x5219;&#x5FFD;&#x7565;&#x8BE5; &#x8BBE;&#x7F6E;&#xFF0C;&#x800C;&#x6539;&#x4E3A;&#x4F7F;&#x7528;&#x6B64;&#x8BBE;&#x7F6E;&#x3002;&#x6362;&#x53E5;&#x8BDD;&#x8BF4;&#xFF0C;&#x5E76;&#x53D1;&#x9650;&#x5236;&#x5C06;&#x5E94;&#x7528;&#x4E8E;&#x6BCF;&#x4E2A;IP&#xFF0C;&#x800C;&#x4E0D;&#x662F;&#x6BCF;&#x4E2A;&#x57DF;&#x3002;</p>
<p>&#x6B64;&#x8BBE;&#x7F6E;&#x4E5F;&#x4F1A;&#x5F71;&#x54CD;<code>DOWNLOAD_DELAY</code>&#x548C; <a href="https://doc.scrapy.org/en/1.3/topics/autothrottle.html#topics-autothrottle" target="_blank">AutoThrottle&#x6269;&#x5C55;</a>&#xFF1A;&#x5982;&#x679C;<code>CONCURRENT_REQUESTS_PER_IP</code> &#x975E;&#x96F6;&#xFF0C;&#x4E0B;&#x8F7D;&#x5EF6;&#x8FDF;&#x662F;&#x5F3A;&#x5236;&#x6BCF;IP&#xFF0C;&#x800C;&#x4E0D;&#x662F;&#x6BCF;&#x4E2A;&#x57DF;&#x3002;</p>
<h3 id="defaultitemclass">DEFAULT_ITEM_CLASS</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>&apos;scrapy.item.Item&apos;</code></p>
<p>&#x5C06;&#x7528;&#x4E8E;<a href="https://doc.scrapy.org/en/1.3/topics/shell.html#topics-shell" target="_blank">&#x5728;Scrapy shell</a>&#x4E2D;&#x5B9E;&#x4F8B;&#x5316;&#x9879;&#x7684;&#x9ED8;&#x8BA4;&#x7C7B;&#x3002;</p>
<h3 id="defaultrequestheaders">DEFAULT_REQUEST_HEADERS</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A;</p>
<pre><code>{
    &apos;Accept&apos;: &apos;text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8&apos;,
    &apos;Accept-Language&apos;: &apos;en&apos;,
}1234
</code></pre><p>&#x7528;&#x4E8E;Scrapy HTTP&#x8BF7;&#x6C42;&#x7684;&#x9ED8;&#x8BA4;&#x6807;&#x5934;&#x3002;&#x4ED6;&#x4EEC;&#x5C45;&#x4F4F;&#x5728; <code>DefaultHeadersMiddleware</code>&#x3002;</p>
<h3 id="depthlimit">DEPTH_LIMIT</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>0</code></p>
<p>&#x8303;&#x56F4;&#xFF1A; <code>scrapy.spidermiddlewares.depth.DepthMiddleware</code></p>
<p>&#x5141;&#x8BB8;&#x6293;&#x53D6;&#x4EFB;&#x4F55;&#x7F51;&#x7AD9;&#x7684;&#x6700;&#x5927;&#x6DF1;&#x5EA6;&#x3002;&#x5982;&#x679C;&#x4E3A;&#x96F6;&#xFF0C;&#x5219;&#x4E0D;&#x65BD;&#x52A0;&#x9650;&#x5236;&#x3002;</p>
<h3 id="depthpriority">DEPTH_PRIORITY</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>0</code></p>
<p>&#x8303;&#x56F4;&#xFF1A; <code>scrapy.spidermiddlewares.depth.DepthMiddleware</code></p>
<p>&#x7528;&#x4E8E;&#x6839;&#x636E;&#x6DF1;&#x5EA6;&#x8C03;&#x6574;&#x8BF7;&#x6C42;&#x4F18;&#x5148;&#x7EA7;&#x7684;&#x6574;&#x6570;&#xFF1A;</p>
<p>&#x5982;&#x679C;&#x4E3A;&#x96F6;&#xFF08;&#x9ED8;&#x8BA4;&#xFF09;&#xFF0C;&#x5219;&#x4E0D;&#x4ECE;&#x6DF1;&#x5EA6;&#x8FDB;&#x884C;&#x4F18;&#x5148;&#x7EA7;&#x8C03;&#x6574; 
&#x6B63;&#x503C;&#x5C06;&#x964D;&#x4F4E;&#x4F18;&#x5148;&#x7EA7;&#xFF0C;&#x5373;&#xFF0C;&#x8F83;&#x9AD8;&#x6DF1;&#x5EA6;&#x8BF7;&#x6C42;&#x5C06;&#x88AB;&#x7A0D;&#x540E;&#x5904;&#x7406; ; &#x8FD9;&#x901A;&#x5E38;&#x7528;&#x4E8E;&#x505A;&#x5E7F;&#x5EA6;&#x4F18;&#x5148;&#x722C;&#x7F51;&#xFF08;BFO&#xFF09; 
&#x8D1F;&#x503C;&#x5C06;&#x589E;&#x52A0;&#x4F18;&#x5148;&#x7EA7;&#xFF0C;&#x5373;&#xFF0C;&#x8F83;&#x9AD8;&#x6DF1;&#x5EA6;&#x8BF7;&#x6C42;&#x5C06;&#x88AB;&#x66F4;&#x5FEB;&#x5730;&#x5904;&#x7406;&#xFF08;DFO&#xFF09; 
&#x53C2;&#x89C1;&#xFF1A;<a href="https://doc.scrapy.org/en/1.3/faq.html#faq-bfo-dfo" target="_blank">Scrapy&#x662F;&#x5426;&#x4EE5;&#x5E7F;&#x5EA6;&#x4F18;&#x5148;&#x6216;&#x6DF1;&#x5EA6;&#x4F18;&#x5148;&#x987A;&#x5E8F;&#x722C;&#x884C;&#xFF1F;</a>&#x5173;&#x4E8E;&#x8C03;&#x6574;BFO&#x6216;DFO&#x7684;Scrapy&#x3002;</p>
<h4 id="&#x6CE8;&#x610F;">&#x6CE8;&#x610F;</h4>
<p>&#x6B64;&#x8BBE;&#x7F6E;&#x4EE5;&#x4E0E;&#x5176;&#x4ED6;&#x4F18;&#x5148;&#x7EA7;&#x8BBE;&#x7F6E; &#x548C;&#x76F8;&#x53CD;&#x7684;&#x65B9;&#x5F0F;&#x8C03;&#x6574;&#x4F18;&#x5148;&#x7EA7;&#x3002;<code>REDIRECT_PRIORITY_ADJUSTRETRY_PRIORITY_ADJUST</code></p>
<h3 id="depthstats">DEPTH_STATS</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; True</p>
<p>&#x8303;&#x56F4;&#xFF1A; <code>scrapy.spidermiddlewares.depth.DepthMiddleware</code></p>
<p>&#x662F;&#x5426;&#x6536;&#x96C6;&#x6700;&#x5927;&#x6DF1;&#x5EA6;&#x7EDF;&#x8BA1;&#x3002;</p>
<h3 id="depthstatsverbose">DEPTH_STATS_VERBOSE</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>False</code></p>
<p>&#x8303;&#x56F4;&#xFF1A; <code>scrapy.spidermiddlewares.depth.DepthMiddleware</code></p>
<p>&#x662F;&#x5426;&#x6536;&#x96C6;&#x8BE6;&#x7EC6;&#x7684;&#x6DF1;&#x5EA6;&#x7EDF;&#x8BA1;&#x4FE1;&#x606F;&#x3002;&#x5982;&#x679C;&#x542F;&#x7528;&#x6B64;&#x9009;&#x9879;&#xFF0C;&#x5219;&#x5728;&#x7EDF;&#x8BA1;&#x4FE1;&#x606F;&#x4E2D;&#x6536;&#x96C6;&#x6BCF;&#x4E2A;&#x6DF1;&#x5EA6;&#x7684;&#x8BF7;&#x6C42;&#x6570;&#x3002;</p>
<h3 id="dnscacheenabled">DNSCACHE_ENABLED</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>True</code></p>
<p>&#x662F;&#x5426;&#x542F;&#x7528;DNS&#x5185;&#x5B58;&#x7F13;&#x5B58;&#x3002;</p>
<h3 id="dnscachesize">DNSCACHE_SIZE</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>10000</code></p>
<p>DNS&#x5185;&#x5B58;&#x7F13;&#x5B58;&#x5927;&#x5C0F;&#x3002;</p>
<h3 id="dnstimeout">DNS_TIMEOUT</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>60</code></p>
<p>&#x4EE5;&#x79D2;&#x4E3A;&#x5355;&#x4F4D;&#x5904;&#x7406;DNS&#x67E5;&#x8BE2;&#x7684;&#x8D85;&#x65F6;&#x3002;&#x652F;&#x6301;&#x6D6E;&#x70B9;&#x3002;</p>
<h3 id="downloader">DOWNLOADER</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>&apos;scrapy.core.downloader.Downloader&apos;</code></p>
<p>&#x7528;&#x4E8E;&#x6293;&#x53D6;&#x7684;&#x4E0B;&#x8F7D;&#x5668;&#x3002;</p>
<h3 id="downloaderhttpclientfactory">DOWNLOADER_HTTPCLIENTFACTORY</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>&apos;scrapy.core.downloader.webclient.ScrapyHTTPClientFactory&apos;</code></p>
<p>&#x5B9A;&#x4E49;<code>protocol.ClientFactory</code> &#x7528;&#x4E8E;HTTP / 1.0&#x8FDE;&#x63A5;&#xFF08;for <code>HTTP10DownloadHandler</code>&#xFF09;&#x7684;<code>Twisted</code> &#x7C7B;&#x3002;</p>
<h4 id="&#x6CE8;&#x610F;">&#x6CE8;&#x610F;</h4>
<p>HTTP / 1.0&#x73B0;&#x5728;&#x5F88;&#x5C11;&#x4F7F;&#x7528;&#xFF0C;&#x6240;&#x4EE5;&#x4F60;&#x53EF;&#x4EE5;&#x5B89;&#x5168;&#x5730;&#x5FFD;&#x7565;&#x8FD9;&#x4E2A;&#x8BBE;&#x7F6E;&#xFF0C;&#x9664;&#x975E;&#x4F60;&#x4F7F;&#x7528;Twisted &lt;11.1&#xFF0C;&#x6216;&#x8005;&#x5982;&#x679C;&#x4F60;&#x771F;&#x7684;&#x60F3;&#x4F7F;&#x7528;HTTP / 1.0&#x548C;&#x8986;&#x76D6;<code>DOWNLOAD_HANDLERS_BASE</code>&#x76F8;&#x5E94;&#x7684;<code>http(s)</code>&#x65B9;&#x6848;&#xFF0C;&#x5373;&#x5230; <code>&apos;scrapy.core.downloader.handlers.http.HTTP10DownloadHandler&apos;</code>&#x3002;</p>
<h3 id="downloaderclientcontextfactory">DOWNLOADER_CLIENTCONTEXTFACTORY</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>&apos;scrapy.core.downloader.contextfactory.ScrapyClientContextFactory&apos;</code></p>
<p>&#x8868;&#x793A;&#x8981;&#x4F7F;&#x7528;&#x7684;<code>ContextFactory</code>&#x7684;&#x7C7B;&#x8DEF;&#x5F84;&#x3002;</p>
<p>&#x8FD9;&#x91CC;&#xFF0C;&#x201C;ContextFactory&#x201D;&#x662F;&#x7528;&#x4E8E;SSL / TLS&#x4E0A;&#x4E0B;&#x6587;&#x7684;Twisted&#x672F;&#x8BED;&#xFF0C;&#x5B9A;&#x4E49;&#x8981;&#x4F7F;&#x7528;&#x7684;TLS / SSL&#x534F;&#x8BAE;&#x7248;&#x672C;&#xFF0C;&#x662F;&#x5426;&#x6267;&#x884C;&#x8BC1;&#x4E66;&#x9A8C;&#x8BC1;&#xFF0C;&#x6216;&#x8005;&#x751A;&#x81F3;&#x542F;&#x7528;&#x5BA2;&#x6237;&#x7AEF;&#x9A8C;&#x8BC1;&#xFF08;&#x4EE5;&#x53CA;&#x5404;&#x79CD;&#x5176;&#x4ED6;&#x4E8B;&#x60C5;&#xFF09;&#x3002;</p>
<h4 id="&#x6CE8;&#x610F;">&#x6CE8;&#x610F;</h4>
<p>Scrapy&#x9ED8;&#x8BA4;&#x4E0A;&#x4E0B;&#x6587;&#x5DE5;&#x5382;<strong>&#x4E0D;&#x6267;&#x884C;&#x8FDC;&#x7A0B;&#x670D;&#x52A1;&#x5668;&#x8BC1;&#x4E66;&#x9A8C;&#x8BC1;</strong>&#x3002;&#x8FD9;&#x901A;&#x5E38;&#x5BF9;&#x4E8E;&#x7F51;&#x7EDC;&#x522E;&#x524A;&#x662F;&#x5F88;&#x597D;&#x7684;&#x3002;</p>
<p>&#x5982;&#x679C;&#x60A8;&#x9700;&#x8981;&#x542F;&#x7528;&#x8FDC;&#x7A0B;&#x670D;&#x52A1;&#x5668;&#x8BC1;&#x4E66;&#x9A8C;&#x8BC1;&#xFF0C;Scrapy&#x8FD8;&#x6709;&#x53E6;&#x4E00;&#x4E2A;&#x4E0A;&#x4E0B;&#x6587;&#x5DE5;&#x5382;&#x7C7B;&#xFF0C;&#x60A8;&#x53EF;&#x4EE5;&#x8BBE;&#x7F6E;&#xFF0C; <code>&apos;scrapy.core.downloader.contextfactory.BrowserLikeContextFactory&apos;</code>&#x4F7F;&#x7528;&#x5E73;&#x53F0;&#x7684;&#x8BC1;&#x4E66;&#x6765;&#x9A8C;&#x8BC1;&#x8FDC;&#x7A0B;&#x7AEF;&#x70B9;&#x3002; <strong>&#x4EC5;&#x5F53;&#x4F7F;&#x7528;Twisted&gt; = 14.0&#x65F6;&#xFF0C;&#x6B64;&#x9009;&#x9879;&#x624D;&#x53EF;&#x7528;</strong>&#x3002;</p>
<p>&#x5982;&#x679C;&#x4F60;&#x4F7F;&#x7528;&#x4E00;&#x4E2A;&#x81EA;&#x5B9A;&#x4E49;&#x7684;ContextFactory&#xFF0C;&#x786E;&#x4FDD;&#x5B83;&#x63A5;&#x53D7;&#x4E00;&#x4E2A;<code>method</code> &#x53C2;&#x6570;&#x5728;init&#xFF08;&#x8FD9;&#x662F;<code>OpenSSL.SSL</code>&#x65B9;&#x6CD5;&#x6620;&#x5C04;<code>DOWNLOADER_CLIENT_TLS_METHOD</code>&#xFF09;&#x3002;</p>
<h3 id="downloaderclienttlsmethod">DOWNLOADER_CLIENT_TLS_METHOD</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>&apos;TLS&apos;</code></p>
<p>&#x4F7F;&#x7528;&#x6B64;&#x8BBE;&#x7F6E;&#x53EF;&#x81EA;&#x5B9A;&#x4E49;&#x9ED8;&#x8BA4;HTTP / 1.1&#x4E0B;&#x8F7D;&#x7A0B;&#x5E8F;&#x4F7F;&#x7528;&#x7684;TLS / SSL&#x65B9;&#x6CD5;&#x3002;</p>
<p>&#x6B64;&#x8BBE;&#x7F6E;&#x5FC5;&#x987B;&#x662F;&#x4EE5;&#x4E0B;&#x5B57;&#x7B26;&#x4E32;&#x503C;&#x4E4B;&#x4E00;&#xFF1A;</p>
<ul>
<li><code>&apos;TLS&apos;</code>&#xFF1A;&#x6620;&#x5C04;&#x5230;OpenSSL <code>TLS_method()</code>&#xFF08;aka <code>SSLv23_method()</code>&#xFF09;&#xFF0C;&#x5141;&#x8BB8;&#x534F;&#x8BAE;&#x534F;&#x5546;&#xFF0C;&#x4ECE;&#x5E73;&#x53F0;&#x652F;&#x6301;&#x7684;&#x6700;&#x9AD8;&#x5F00;&#x59CB;; &#x9ED8;&#x8BA4;&#xFF0C;&#x63A8;&#x8350;</li>
<li><code>&apos;TLSv1.0&apos;</code>&#xFF1A;&#x6B64;&#x503C;&#x5F3A;&#x5236;HTTPS&#x8FDE;&#x63A5;&#x4F7F;&#x7528;TLS&#x7248;&#x672C;1.0; &#x5982;&#x679C;&#x4F60;&#x60F3;&#x8981;Scrapy &lt;1.1&#x7684;&#x884C;&#x4E3A;&#xFF0C;&#x8BBE;&#x7F6E;&#x8FD9;&#x4E2A;</li>
<li><code>&apos;TLSv1.1&apos;</code>&#xFF1A;&#x5F3A;&#x5236;TLS&#x7248;&#x672C;1.1</li>
<li><code>&apos;TLSv1.2&apos;</code>&#xFF1A;&#x5F3A;&#x5236;TLS&#x7248;&#x672C;1.2</li>
<li><code>&apos;SSLv3&apos;</code>&#xFF1A;&#x5F3A;&#x5236;SSL&#x7248;&#x672C;3<strong>&#xFF08;&#x4E0D;&#x63A8;&#x8350;&#xFF09;</strong></li>
</ul>
<h4 id="&#x6CE8;&#x610F;">&#x6CE8;&#x610F;</h4>
<p>&#x6211;&#x4EEC;&#x5EFA;&#x8BAE;&#x60A8;&#x4F7F;&#x7528;PyOpenSSL&gt; = 0.13&#x548C;Twisted&gt; = 0.13&#x6216;&#x4EE5;&#x4E0A;&#xFF08;&#x5982;&#x679C;&#x53EF;&#x4EE5;&#xFF0C;Twisted&gt; = 14.0&#xFF09;&#x3002;</p>
<h3 id="downloadermiddlewares">DOWNLOADER_MIDDLEWARES</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A;&#xFF1A; <code>{}</code></p>
<p>&#x5305;&#x542B;&#x5728;&#x60A8;&#x7684;&#x9879;&#x76EE;&#x4E2D;&#x542F;&#x7528;&#x7684;&#x4E0B;&#x8F7D;&#x5668;&#x4E2D;&#x95F4;&#x4EF6;&#x53CA;&#x5176;&#x987A;&#x5E8F;&#x7684;&#x5B57;&#x5178;&#x3002;&#x6709;&#x5173;&#x66F4;&#x591A;&#x4FE1;&#x606F;&#xFF0C;&#x8BF7;&#x53C2;&#x9605;&#x6FC0;&#x6D3B;&#x4E0B;&#x8F7D;&#x5668;&#x4E2D;&#x95F4;&#x4EF6;&#x3002;</p>
<h3 id="downloadermiddlewaresbase">DOWNLOADER_MIDDLEWARES_BASE</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A;</p>
<pre><code>{
    &apos;scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware&apos;: 100,
    &apos;scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware&apos;: 300,
    &apos;scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware&apos;: 350,
    &apos;scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware&apos;: 400,
    &apos;scrapy.downloadermiddlewares.useragent.UserAgentMiddleware&apos;: 500,
    &apos;scrapy.downloadermiddlewares.retry.RetryMiddleware&apos;: 550,
    &apos;scrapy.downloadermiddlewares.ajaxcrawl.AjaxCrawlMiddleware&apos;: 560,
    &apos;scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware&apos;: 580,
    &apos;scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware&apos;: 590,
    &apos;scrapy.downloadermiddlewares.redirect.RedirectMiddleware&apos;: 600,
    &apos;scrapy.downloadermiddlewares.cookies.CookiesMiddleware&apos;: 700,
    &apos;scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware&apos;: 750,
    &apos;scrapy.downloadermiddlewares.stats.DownloaderStats&apos;: 850,
    &apos;scrapy.downloadermiddlewares.httpcache.HttpCacheMiddleware&apos;: 900,
}12345678910111213141516
</code></pre><p>&#x5305;&#x542B;Scrapy&#x4E2D;&#x9ED8;&#x8BA4;&#x542F;&#x7528;&#x7684;&#x4E0B;&#x8F7D;&#x5668;&#x4E2D;&#x95F4;&#x4EF6;&#x7684;&#x5B57;&#x5178;&#x3002;&#x4F4E;&#x8BA2;&#x5355;&#x66F4;&#x9760;&#x8FD1;&#x53D1;&#x52A8;&#x673A;&#xFF0C;&#x9AD8;&#x8BA2;&#x5355;&#x66F4;&#x63A5;&#x8FD1;&#x4E0B;&#x8F7D;&#x5668;&#x3002;&#x60A8;&#x4E0D;&#x5E94;&#x8BE5;&#x5728;&#x9879;&#x76EE;&#x4E2D;&#x4FEE;&#x6539;&#x6B64;&#x8BBE;&#x7F6E;&#xFF0C;<code>DOWNLOADER_MIDDLEWARES</code>&#x800C;&#x5E94;&#x4FEE;&#x6539; &#x3002;&#x6709;&#x5173;&#x66F4;&#x591A;&#x4FE1;&#x606F;&#xFF0C;&#x8BF7;&#x53C2;&#x9605; <a href="https://doc.scrapy.org/en/1.3/topics/downloader-middleware.html#topics-downloader-middleware-setting" target="_blank">&#x6FC0;&#x6D3B;&#x4E0B;&#x8F7D;&#x5668;&#x4E2D;&#x95F4;&#x4EF6;</a>&#x3002;</p>
<h3 id="downloaderstats">DOWNLOADER_STATS</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>True</code></p>
<p>&#x662F;&#x5426;&#x542F;&#x7528;&#x4E0B;&#x8F7D;&#x5668;&#x7EDF;&#x8BA1;&#x4FE1;&#x606F;&#x6536;&#x96C6;&#x3002;</p>
<h3 id="downloaddelay">DOWNLOAD_DELAY</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>0</code></p>
<p>&#x4E0B;&#x8F7D;&#x5668;&#x5728;&#x4ECE;&#x540C;&#x4E00;&#x7F51;&#x7AD9;&#x4E0B;&#x8F7D;&#x8FDE;&#x7EED;&#x9875;&#x9762;&#x4E4B;&#x524D;&#x5E94;&#x7B49;&#x5F85;&#x7684;&#x65F6;&#x95F4;&#xFF08;&#x4EE5;&#x79D2;&#x4E3A;&#x5355;&#x4F4D;&#xFF09;&#x3002;&#x8FD9;&#x53EF;&#x4EE5;&#x7528;&#x4E8E;&#x9650;&#x5236;&#x722C;&#x884C;&#x901F;&#x5EA6;&#xFF0C;&#x4EE5;&#x907F;&#x514D;&#x51FB;&#x4E2D;&#x670D;&#x52A1;&#x5668;&#x592A;&#x96BE;&#x3002;&#x652F;&#x6301;&#x5C0F;&#x6570;&#x3002;&#x4F8B;&#xFF1A;</p>
<pre><code>DOWNLOAD_DELAY = 0.25    # 250 ms of delay1
</code></pre><p>&#x6B64;&#x8BBE;&#x7F6E;&#x4E5F;&#x53D7;<code>RANDOMIZE_DOWNLOAD_DELAY</code> &#x8BBE;&#x7F6E;&#xFF08;&#x9ED8;&#x8BA4;&#x60C5;&#x51B5;&#x4E0B;&#x542F;&#x7528;&#xFF09;&#x7684;&#x5F71;&#x54CD;&#x3002;&#x9ED8;&#x8BA4;&#x60C5;&#x51B5;&#x4E0B;&#xFF0C;Scrapy&#x4E0D;&#x4F1A;&#x5728;&#x8BF7;&#x6C42;&#x4E4B;&#x95F4;&#x7B49;&#x5F85;&#x56FA;&#x5B9A;&#x7684;&#x65F6;&#x95F4;&#x91CF;&#xFF0C;&#x800C;&#x662F;&#x4F7F;&#x7528;0.5 <em> <code>DOWNLOAD_DELAY</code>&#x548C;1.5 </em> &#x4E4B;&#x95F4;&#x7684;&#x968F;&#x673A;&#x95F4;&#x9694;<code>DOWNLOAD_DELAY</code>&#x3002;</p>
<p>&#x5F53;<code>CONCURRENT_REQUESTS_PER_IP</code>&#x4E3A;&#x975E;&#x96F6;&#x65F6;&#xFF0C;&#x6BCF;&#x4E2A;IP&#x5730;&#x5740;&#x800C;&#x4E0D;&#x662F;&#x6BCF;&#x4E2A;&#x57DF;&#x5F3A;&#x5236;&#x6267;&#x884C;&#x5EF6;&#x8FDF;&#x3002;</p>
<p>&#x60A8;&#x8FD8;&#x53EF;&#x4EE5;&#x901A;&#x8FC7;&#x8BBE;&#x7F6E;<code>download_delay</code> spider&#x5C5E;&#x6027;&#x6765;&#x66F4;&#x6539;&#x6BCF;&#x4E2A;&#x722C;&#x866B;&#x7684;&#x6B64;&#x8BBE;&#x7F6E;&#x3002;</p>
<h3 id="downloadhandlers">DOWNLOAD_HANDLERS</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>{}</code></p>
<p>&#x5305;&#x542B;&#x5728;&#x60A8;&#x7684;&#x9879;&#x76EE;&#x4E2D;&#x542F;&#x7528;&#x7684;&#x8BF7;&#x6C42;&#x4E0B;&#x8F7D;&#x5668;&#x5904;&#x7406;&#x7A0B;&#x5E8F;&#x7684;dict&#x3002;&#x53C2;&#x89C1;<code>DOWNLOAD_HANDLERS_BASE</code>&#x793A;&#x4F8B;&#x683C;&#x5F0F;&#x3002;</p>
<h3 id="downloadhandlersbase">DOWNLOAD_HANDLERS_BASE</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A;</p>
<pre><code>{ 
    &apos;file&apos; &#xFF1A; &apos;scrapy.core.downloader.handlers.file.FileDownloadHandler&apos; &#xFF0C;
    &apos;http&apos; &#xFF1A; &apos;scrapy.core.downloader.handlers.http.HTTPDownloadHandler&apos; &#xFF0C;
    &apos;https&apos; &#xFF1A; &apos;scrapy.core.downloader.handlers&#x3002; http.HTTPDownloadHandler&apos; &#xFF0C;
    &apos;s3&apos; &#xFF1A; &apos;scrapy.core.downloader.handlers.s3.S3DownloadHandler&apos; &#xFF0C;
    &apos;ftp&apos; &#xFF1A; &apos;scrapy.core.downloader.handlers.ftp.FTPDownloadHandler&apos; &#xFF0C;
}1234567
</code></pre><p>&#x5305;&#x542B;Scrapy&#x4E2D;&#x9ED8;&#x8BA4;&#x542F;&#x7528;&#x7684;&#x8BF7;&#x6C42;&#x4E0B;&#x8F7D;&#x5904;&#x7406;&#x7A0B;&#x5E8F;&#x7684;&#x5B57;&#x5178;&#x3002;&#x60A8;&#x4E0D;&#x5E94;&#x8BE5;&#x5728;&#x9879;&#x76EE;&#x4E2D;&#x4FEE;&#x6539;&#x6B64;&#x8BBE;&#x7F6E;&#xFF0C;<code>DOWNLOAD_HANDLERS</code>&#x800C;&#x5E94;&#x4FEE;&#x6539; &#x3002;</p>
<p>&#x60A8;&#x53EF;&#x4EE5;&#x901A;&#x8FC7;&#x5728;&#x5176;&#x4E2D;<code>None</code>&#x5206;&#x914D;URI&#x65B9;&#x6848;&#x6765;&#x7981;&#x7528;&#x8FD9;&#x4E9B;&#x4E0B;&#x8F7D;&#x5904;&#x7406;&#x7A0B;&#x5E8F;<code>DOWNLOAD_HANDLERS</code>&#x3002;&#x4F8B;&#x5982;&#xFF0C;&#x8981;&#x7981;&#x7528;&#x5185;&#x7F6E;&#x7684;FTP&#x5904;&#x7406;&#x7A0B;&#x5E8F;&#xFF08;&#x65E0;&#x66FF;&#x6362;&#xFF09;&#xFF0C;&#x8BF7;&#x5C06;&#x5176;&#x653E;&#x7F6E;&#x5728;<code>settings.py</code>&#xFF1A;</p>
<pre><code>DOWNLOAD_HANDLERS = {
    &apos;ftp&apos;: None,
}123
</code></pre><h3 id="downloadtimeout">DOWNLOAD_TIMEOUT</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>180</code></p>
<p>&#x4E0B;&#x8F7D;&#x5668;&#x5728;&#x8D85;&#x65F6;&#x524D;&#x7B49;&#x5F85;&#x7684;&#x65F6;&#x95F4;&#x91CF;&#xFF08;&#x4EE5;&#x79D2;&#x4E3A;&#x5355;&#x4F4D;&#xFF09;&#x3002;</p>
<h4 id="&#x6CE8;&#x610F;">&#x6CE8;&#x610F;</h4>
<p>&#x53EF;&#x4EE5;&#x4F7F;&#x7528;<code>download_timeout</code> Spider&#x5C5E;&#x6027;&#x548C;&#x6BCF;&#x4E2A;&#x8BF7;&#x6C42;&#x4F7F;&#x7528;<code>download_timeout</code> <code>Request.meta</code>&#x952E;&#x4E3A;&#x6BCF;&#x4E2A;&#x722C;&#x866B;&#x8BBE;&#x7F6E;&#x6B64;&#x8D85;&#x65F6;&#x3002;</p>
<h3 id="downloadmaxsize">DOWNLOAD_MAXSIZE</h3>
<p>&#x9ED8;&#x8BA4;&#x503C;&#xFF1A;<code>1073741824&#xFF08;1024MB&#xFF09;</code></p>
<p>&#x4E0B;&#x8F7D;&#x5668;&#x5C06;&#x4E0B;&#x8F7D;&#x7684;&#x6700;&#x5927;&#x54CD;&#x5E94;&#x5927;&#x5C0F;&#xFF08;&#x4EE5;&#x5B57;&#x8282;&#x4E3A;&#x5355;&#x4F4D;&#xFF09;&#x3002;</p>
<p>&#x5982;&#x679C;&#x8981;&#x7981;&#x7528;&#x5B83;&#x8BBE;&#x7F6E;&#x4E3A;0&#x3002;</p>
<h4 id="&#x6CE8;&#x610F;">&#x6CE8;&#x610F;</h4>
<p>&#x53EF;&#x4EE5;&#x4F7F;&#x7528;<code>download_maxsize</code> Spider&#x5C5E;&#x6027;&#x548C;&#x6BCF;&#x4E2A;&#x8BF7;&#x6C42;&#x4F7F;&#x7528;<code>download_maxsize</code> Request.meta&#x952E;&#x4E3A;&#x6BCF;&#x4E2A;&#x722C;&#x866B;&#x8BBE;&#x7F6E;&#x6B64;&#x5927;&#x5C0F;&#x3002;</p>
<p>&#x6B64;&#x529F;&#x80FD;&#x9700;&#x8981;Twisted&gt; = 11.1&#x3002;</p>
<h3 id="downloadwarnsize">DOWNLOAD_WARNSIZE</h3>
<p>&#x9ED8;&#x8BA4;&#x503C;&#xFF1A;33554432&#xFF08;32MB&#xFF09;</p>
<p>&#x4E0B;&#x8F7D;&#x7A0B;&#x5E8F;&#x5C06;&#x5F00;&#x59CB;&#x8B66;&#x544A;&#x7684;&#x54CD;&#x5E94;&#x5927;&#x5C0F;&#xFF08;&#x4EE5;&#x5B57;&#x8282;&#x4E3A;&#x5355;&#x4F4D;&#xFF09;&#x3002;</p>
<p>&#x5982;&#x679C;&#x8981;&#x7981;&#x7528;&#x5B83;&#x8BBE;&#x7F6E;&#x4E3A;0&#x3002;</p>
<h4 id="&#x6CE8;&#x610F;">&#x6CE8;&#x610F;</h4>
<p>&#x53EF;&#x4EE5;&#x4F7F;&#x7528;<code>download_warnsize</code> Spider&#x5C5E;&#x6027;&#x548C;&#x6BCF;&#x4E2A;&#x8BF7;&#x6C42;&#x4F7F;&#x7528;<code>download_warnsize</code> Request.meta&#x952E;&#x4E3A;&#x6BCF;&#x4E2A;&#x722C;&#x866B;&#x8BBE;&#x7F6E;&#x6B64;&#x5927;&#x5C0F;&#x3002;</p>
<p>&#x6B64;&#x529F;&#x80FD;&#x9700;&#x8981;Twisted&gt; = 11.1&#x3002;</p>
<h3 id="dupefilterclass">DUPEFILTER_CLASS</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>&apos;scrapy.dupefilters.RFPDupeFilter&apos;</code></p>
<p>&#x7528;&#x4E8E;&#x68C0;&#x6D4B;&#x548C;&#x8FC7;&#x6EE4;&#x91CD;&#x590D;&#x8BF7;&#x6C42;&#x7684;&#x7C7B;&#x3002;</p>
<p>&#x9ED8;&#x8BA4;&#xFF08;RFPDupeFilter&#xFF09;&#x8FC7;&#x6EE4;&#x5668;&#x57FA;&#x4E8E;&#x8BF7;&#x6C42;&#x6307;&#x7EB9;&#x4F7F;&#x7528;&#x8BE5;<code>scrapy.utils.request.request_fingerprint</code>&#x51FD;&#x6570;&#x3002;&#x4E3A;&#x4E86;&#x6539;&#x53D8;&#x91CD;&#x590D;&#x68C0;&#x67E5;&#x7684;&#x65B9;&#x5F0F;&#xFF0C;&#x4F60;&#x53EF;&#x4EE5;&#x5B50;&#x7C7B;&#x5316;<code>RFPDupeFilter</code>&#x5E76;&#x91CD;&#x8F7D;&#x5B83;&#x7684;<code>request_fingerprint</code>&#x65B9;&#x6CD5;&#x3002;&#x8FD9;&#x4E2A;&#x65B9;&#x6CD5;&#x5E94;&#x8BE5;&#x63A5;&#x53D7;scrapy <code>Request</code>&#x5BF9;&#x8C61;&#x5E76;&#x8FD4;&#x56DE;&#x5176;&#x6307;&#x7EB9;&#xFF08;&#x4E00;&#x4E2A;&#x5B57;&#x7B26;&#x4E32;&#xFF09;&#x3002;</p>
<h3 id="dupefilterdebug">DUPEFILTER_DEBUG</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>False</code></p>
<p>&#x9ED8;&#x8BA4;&#x60C5;&#x51B5;&#x4E0B;&#xFF0C;<code>RFPDupeFilter</code>&#x53EA;&#x8BB0;&#x5F55;&#x7B2C;&#x4E00;&#x4E2A;&#x91CD;&#x590D;&#x7684;&#x8BF7;&#x6C42;&#x3002;&#x8BBE;&#x7F6E;<code>DUPEFILTER_DEBUG</code>&#x4E3A;<code>True</code>&#x5C06;&#x4F7F;&#x5176;&#x8BB0;&#x5F55;&#x6240;&#x6709;&#x91CD;&#x590D;&#x7684;&#x8BF7;&#x6C42;&#x3002;</p>
<h3 id="editor">EDITOR</h3>
<p>&#x9ED8;&#x8BA4;&#x503C;&#xFF1A;&#x53D6;&#x51B3;&#x4E8E;&#x73AF;&#x5883;</p>
<p>&#x7528;&#x4E8E;&#x4F7F;&#x7528;edit&#x547D;&#x4EE4;&#x7F16;&#x8F91;&#x722C;&#x866B;&#x7684;&#x7F16;&#x8F91;&#x5668;&#x3002;&#x5B83;&#x9ED8;&#x8BA4;&#x4E3A;EDITOR&#x73AF;&#x5883;&#x53D8;&#x91CF;&#xFF0C;&#x5982;&#x679C;&#x8BBE;&#x7F6E;&#x3002;&#x5426;&#x5219;&#xFF0C;&#x5B83;&#x9ED8;&#x8BA4;&#x4E3A;vi&#xFF08;&#x5728;Unix&#x7CFB;&#x7EDF;&#x4E0A;&#xFF09;&#x6216;IDLE&#x7F16;&#x8F91;&#x5668;&#xFF08;&#x5728;Windows&#x4E0A;&#xFF09;&#x3002;</p>
<h3 id="extensions">EXTENSIONS</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A;&#xFF1A; <code>{}</code></p>
<p>&#x5305;&#x542B;&#x9879;&#x76EE;&#x4E2D;&#x542F;&#x7528;&#x7684;&#x6269;&#x5C55;&#x540D;&#x53CA;&#x5176;&#x987A;&#x5E8F;&#x7684;&#x5B57;&#x5178;&#x3002;</p>
<h3 id="extensionsbase">EXTENSIONS_BASE</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A;</p>
<pre><code>{
    &apos;scrapy.extensions.corestats.CoreStats&apos;: 0,
    &apos;scrapy.extensions.telnet.TelnetConsole&apos;: 0,
    &apos;scrapy.extensions.memusage.MemoryUsage&apos;: 0,
    &apos;scrapy.extensions.memdebug.MemoryDebugger&apos;: 0,
    &apos;scrapy.extensions.closespider.CloseSpider&apos;: 0,
    &apos;scrapy.extensions.feedexport.FeedExporter&apos;: 0,
    &apos;scrapy.extensions.logstats.LogStats&apos;: 0,
    &apos;scrapy.extensions.spiderstate.SpiderState&apos;: 0,
    &apos;scrapy.extensions.throttle.AutoThrottle&apos;: 0,
}1234567891011
</code></pre><p>&#x5305;&#x542B;&#x9ED8;&#x8BA4;&#x60C5;&#x51B5;&#x4E0B;&#x5728;Scrapy&#x4E2D;&#x53EF;&#x7528;&#x7684;&#x6269;&#x5C55;&#x540D;&#x53CA;&#x5176;&#x987A;&#x5E8F;&#x7684;&#x5B57;&#x5178;&#x3002;&#x6B64;&#x8BBE;&#x7F6E;&#x5305;&#x542B;&#x6240;&#x6709;&#x7A33;&#x5B9A;&#x7684;&#x5185;&#x7F6E;&#x6269;&#x5C55;&#x3002;&#x8BF7;&#x8BB0;&#x4F4F;&#xFF0C;&#x5176;&#x4E2D;&#x4E00;&#x4E9B;&#x9700;&#x8981;&#x901A;&#x8FC7;&#x8BBE;&#x7F6E;&#x542F;&#x7528;&#x3002;</p>
<p>&#x6709;&#x5173;&#x8BE6;&#x7EC6;&#x4FE1;&#x606F;&#xFF0C;&#x8BF7;&#x53C2;&#x9605;<a href="https://doc.scrapy.org/en/1.3/topics/extensions.html#topics-extensions" target="_blank">&#x6269;&#x5C55;&#x7A0B;&#x5E8F;&#x7528;&#x6237;&#x6307;&#x5357;</a> &#x548C;<a href="https://doc.scrapy.org/en/1.3/topics/extensions.html#topics-extensions-ref" target="_blank">&#x53EF;&#x7528;&#x6269;&#x5C55;&#x5217;&#x8868;</a>&#x3002;</p>
<h3 id="feedtempdir">FEED_TEMPDIR</h3>
<p>Feed Temd dir&#x5141;&#x8BB8;&#x60A8;&#x5728;&#x4F7F;&#x7528;<a href="https://doc.scrapy.org/en/1.3/topics/feed-exports.html#topics-feed-storage-ftp" target="_blank">FTP&#x6E90;&#x5B58;&#x50A8;</a>&#x548C; Amazon S3&#x4E0A;&#x4F20;&#x4E4B;&#x524D;&#x8BBE;&#x7F6E;&#x81EA;&#x5B9A;&#x4E49;&#x6587;&#x4EF6;&#x5939;&#x4EE5;&#x4FDD;&#x5B58;&#x641C;&#x5BFB;&#x5668;&#x4E34;&#x65F6;&#x6587;&#x4EF6;&#x3002;</p>
<h3 id="itempipelines">ITEM_PIPELINES</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>{}</code></p>
<p>&#x5305;&#x542B;&#x8981;&#x4F7F;&#x7528;&#x7684;&#x9879;&#x76EE;&#x7BA1;&#x9053;&#x53CA;&#x5176;&#x987A;&#x5E8F;&#x7684;&#x5B57;&#x5178;&#x3002;&#x987A;&#x5E8F;&#x503C;&#x662F;&#x4EFB;&#x610F;&#x7684;&#xFF0C;&#x4F46;&#x901A;&#x5E38;&#x5C06;&#x5B83;&#x4EEC;&#x5B9A;&#x4E49;&#x5728;0-1000&#x8303;&#x56F4;&#x5185;&#x3002;&#x8F83;&#x4F4E;&#x8BA2;&#x5355;&#x5904;&#x7406;&#x8F83;&#x9AD8;&#x8BA2;&#x5355;&#x524D;&#x3002;</p>
<p>&#x4F8B;&#xFF1A;</p>
<pre><code>ITEM_PIPELINES = {
    &apos;mybot.pipelines.validate.ValidateMyItem&apos;: 300,
    &apos;mybot.pipelines.validate.StoreMyItem&apos;: 800,
}1234
</code></pre><h3 id="itempipelinesbase">ITEM_PIPELINES_BASE</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>{}</code></p>
<p>&#x5305;&#x542B;Scrapy&#x4E2D;&#x9ED8;&#x8BA4;&#x542F;&#x7528;&#x7684;&#x7BA1;&#x9053;&#x7684;&#x5B57;&#x5178;&#x3002;&#x60A8;&#x4E0D;&#x5E94;&#x8BE5;&#x5728;&#x9879;&#x76EE;&#x4E2D;&#x4FEE;&#x6539;&#x6B64;&#x8BBE;&#x7F6E;&#xFF0C;<code>ITEM_PIPELINES</code>&#x800C;&#x5E94;&#x4FEE;&#x6539;&#x3002;</p>
<h3 id="logenabled">LOG_ENABLED</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>True</code></p>
<p>&#x662F;&#x5426;&#x542F;&#x7528;&#x65E5;&#x5FD7;&#x8BB0;&#x5F55;&#x3002;</p>
<h3 id="logencoding">LOG_ENCODING</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>&apos;utf-8&apos;</code></p>
<p>&#x7528;&#x4E8E;&#x8BB0;&#x5F55;&#x7684;&#x7F16;&#x7801;&#x3002;</p>
<h3 id="logfile">LOG_FILE</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>None</code></p>
<p>&#x7528;&#x4E8E;&#x8BB0;&#x5F55;&#x8F93;&#x51FA;&#x7684;&#x6587;&#x4EF6;&#x540D;&#x3002;&#x5982;&#x679C;None&#xFF0C;&#x5C06;&#x4F7F;&#x7528;&#x6807;&#x51C6;&#x8BEF;&#x5DEE;&#x3002;</p>
<h3 id="logformat">LOG_FORMAT</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>&apos;%(asctime)s [%(name)s] %(levelname)s: %(message)s&apos;</code></p>
<p>&#x7528;&#x4E8E;&#x683C;&#x5F0F;&#x5316;&#x65E5;&#x5FD7;&#x6D88;&#x606F;&#x7684;&#x5B57;&#x7B26;&#x4E32;&#x3002;&#x6709;&#x5173;<a href="https://docs.python.org/2/library/logging.html#logrecord-attributes" target="_blank">&#x53EF;&#x7528;&#x5360;&#x4F4D;&#x7B26;</a>&#x7684;&#x5B8C;&#x6574;&#x5217;&#x8868;&#xFF0C;&#x8BF7;&#x53C2;&#x9605;<a href="https://docs.python.org/2/library/logging.html#logrecord-attributes" target="_blank">Python&#x65E5;&#x5FD7;&#x8BB0;&#x5F55;</a>&#x6587;&#x6863;&#x3002;</p>
<h3 id="logdateformat">LOG_DATEFORMAT</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>&apos;%Y-%m-%d %H:%M:%S&apos;</code></p>
<p>&#x7528;&#x4E8E;&#x683C;&#x5F0F;&#x5316;&#x65E5;&#x671F;/&#x65F6;&#x95F4;&#x7684;&#x5B57;&#x7B26;&#x4E32;&#xFF0C;&#x5360;&#x4F4D;&#x7B26;&#x7684;%(asctime)s&#x6269;&#x5C55;<code>LOG_FORMAT</code>&#x3002;&#x6709;&#x5173;<a href="https://docs.python.org/2/library/datetime.html#strftime-and-strptime-behavior" target="_blank">&#x53EF;&#x7528;&#x6307;&#x4EE4;</a>&#x7684;&#x5B8C;&#x6574;&#x5217;&#x8868;&#xFF0C;&#x8BF7;&#x53C2;&#x9605;<a href="https://docs.python.org/2/library/datetime.html#strftime-and-strptime-behavior" target="_blank">Python datetime</a>&#x6587;&#x6863;&#x3002;</p>
<h3 id="loglevel">LOG_LEVEL</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>&apos;DEBUG&apos;</code></p>
<p>&#x8BB0;&#x5F55;&#x7684;&#x6700;&#x4F4E;&#x7EA7;&#x522B;&#x3002;&#x53EF;&#x7528;&#x7EA7;&#x522B;&#x4E3A;&#xFF1A;<code>CRITICAL</code>&#xFF0C;<code>ERROR</code>&#xFF0C;<code>WARNING</code>&#xFF0C;<code>INFO</code>&#xFF0C;<code>DEBUG</code>&#x3002;&#x6709;&#x5173;&#x8BE6;&#x7EC6;&#x4FE1;&#x606F;&#xFF0C;&#x8BF7;&#x53C2;&#x9605;&#x65E5;&#x5FD7;&#x3002;</p>
<h3 id="logstdout">LOG_STDOUT</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>False</code></p>
<p>&#x5982;&#x679C;<code>True</code>&#xFF0C;&#x60A8;&#x7684;&#x8FDB;&#x7A0B;&#x7684;&#x6240;&#x6709;&#x6807;&#x51C6;&#x8F93;&#x51FA;&#xFF08;&#x548C;&#x9519;&#x8BEF;&#xFF09;&#x5C06;&#x88AB;&#x91CD;&#x5B9A;&#x5411;&#x5230;&#x65E5;&#x5FD7;&#x3002;&#x4F8B;&#x5982;&#xFF0C;&#x5982;&#x679C;&#x5B83;&#x5C06;&#x51FA;&#x73B0;&#x5728;Scrapy&#x65E5;&#x5FD7;&#x4E2D;&#x3002;<code>print &apos;hello&apos;</code></p>
<h3 id="logshortnames">LOG_SHORT_NAMES</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>False</code></p>
<p>&#x5982;&#x679C;<code>True</code>&#xFF0C;&#x65E5;&#x5FD7;&#x5C06;&#x4EC5;&#x5305;&#x542B;&#x6839;&#x8DEF;&#x5F84;&#x3002;&#x5982;&#x679C;&#x8BBE;&#x7F6E;&#x4E3A;&#xFF0C;<code>False</code> &#x5219;&#x5B83;&#x663E;&#x793A;&#x8D1F;&#x8D23;&#x65E5;&#x5FD7;&#x8F93;&#x51FA;&#x7684;&#x7EC4;&#x4EF6;</p>
<h3 id="memdebugenabled">MEMDEBUG_ENABLED</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>False</code></p>
<p>&#x662F;&#x5426;&#x542F;&#x7528;&#x5185;&#x5B58;&#x8C03;&#x8BD5;&#x3002;</p>
<h3 id="memdebugnotify">MEMDEBUG_NOTIFY</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>[]</code></p>
<p>&#x5F53;&#x542F;&#x7528;&#x5185;&#x5B58;&#x8C03;&#x8BD5;&#x65F6;&#xFF0C;&#x5982;&#x679C;&#x6B64;&#x8BBE;&#x7F6E;&#x4E0D;&#x4E3A;&#x7A7A;&#xFF0C;&#x5219;&#x4F1A;&#x5C06;&#x5185;&#x5B58;&#x62A5;&#x544A;&#x53D1;&#x9001;&#x5230;&#x6307;&#x5B9A;&#x7684;&#x5730;&#x5740;&#xFF0C;&#x5426;&#x5219;&#x62A5;&#x544A;&#x5C06;&#x5199;&#x5165;&#x65E5;&#x5FD7;&#x3002;</p>
<p>&#x4F8B;&#xFF1A;</p>
<pre><code>MEMDEBUG_NOTIFY = [&apos;user@example.com&apos;]1
</code></pre><h3 id="memusageenabled">MEMUSAGE_ENABLED</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>False</code></p>
<p>&#x8303;&#x56F4;&#xFF1A; <code>scrapy.extensions.memusage</code></p>
<p>&#x662F;&#x5426;&#x542F;&#x7528;&#x5185;&#x5B58;&#x4F7F;&#x7528;&#x6269;&#x5C55;&#xFF0C;&#x5F53;&#x8D85;&#x8FC7;&#x5185;&#x5B58;&#x9650;&#x5236;&#x65F6;&#x5173;&#x95ED;Scrapy&#x8FDB;&#x7A0B;&#xFF0C;&#x5E76;&#x5728;&#x53D1;&#x751F;&#x8FD9;&#x79CD;&#x60C5;&#x51B5;&#x65F6;&#x901A;&#x8FC7;&#x7535;&#x5B50;&#x90AE;&#x4EF6;&#x901A;&#x77E5;&#x3002;</p>
<p>&#x8BF7;&#x53C2;&#x9605;&#x5185;&#x5B58;&#x4F7F;&#x7528;&#x6269;&#x5C55;&#x3002;</p>
<h3 id="memusagelimitmb">MEMUSAGE_LIMIT_MB</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>0</code></p>
<p>&#x8303;&#x56F4;&#xFF1A; <code>scrapy.extensions.memusage</code></p>
<p>&#x5728;&#x5173;&#x95ED;Scrapy&#x4E4B;&#x524D;&#x5141;&#x8BB8;&#x7684;&#x6700;&#x5927;&#x5185;&#x5B58;&#x91CF;&#xFF08;&#x4EE5;&#x5146;&#x5B57;&#x8282;&#x4E3A;&#x5355;&#x4F4D;&#xFF09;&#xFF08;&#x5982;&#x679C;<code>MEMUSAGE_ENABLED</code>&#x4E3A;<code>True</code>&#xFF09;&#x3002;&#x5982;&#x679C;&#x4E3A;&#x96F6;&#xFF0C;&#x5219;&#x4E0D;&#x6267;&#x884C;&#x68C0;&#x67E5;&#x3002;</p>
<p>&#x8BF7;&#x53C2;&#x9605;<a href="https://doc.scrapy.org/en/1.3/topics/extensions.html#topics-extensions-ref-memusage" target="_blank">&#x5185;&#x5B58;&#x4F7F;&#x7528;&#x6269;&#x5C55;</a>&#x3002;</p>
<h3 id="memusagecheckintervalseconds">MEMUSAGE_CHECK_INTERVAL_SECONDS</h3>
<p>&#x65B0;&#x7248;&#x672C;1.1&#x3002;</p>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>60.0</code></p>
<p>&#x8303;&#x56F4;&#xFF1A; <code>scrapy.extensions.memusage</code></p>
<p>&#x8BE5;<a href="https://doc.scrapy.org/en/1.3/topics/extensions.html#topics-extensions-ref-memusage" target="_blank">&#x5185;&#x5B58;&#x4F7F;&#x7528;&#x6269;&#x5C55;</a> &#x68C0;&#x67E5;&#x5F53;&#x524D;&#x5185;&#x5B58;&#x4F7F;&#x7528;&#x60C5;&#x51B5;&#xFF0C;&#x76F8;&#x5BF9;&#x4E8E;&#x9650;&#x5236;&#x7531;&#x8BBE;&#x7F6E; <code>MEMUSAGE_LIMIT_MB</code>&#x548C;<code>MEMUSAGE_WARNING_MB</code>&#x5728;&#x56FA;&#x5B9A;&#x7684;&#x65F6;&#x95F4;&#x95F4;&#x9694;&#x3002;</p>
<p>&#x8FD9;&#x5C06;&#x8BBE;&#x7F6E;&#x8FD9;&#x4E9B;&#x95F4;&#x9694;&#x7684;&#x957F;&#x5EA6;&#xFF08;&#x4EE5;&#x79D2;&#x4E3A;&#x5355;&#x4F4D;&#xFF09;&#x3002;</p>
<p>&#x8BF7;&#x53C2;&#x9605;<a href="https://doc.scrapy.org/en/1.3/topics/extensions.html#topics-extensions-ref-memusage" target="_blank">&#x5185;&#x5B58;&#x4F7F;&#x7528;&#x6269;&#x5C55;</a>&#x3002;</p>
<h3 id="memusagenotifymail">MEMUSAGE_NOTIFY_MAIL</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>False</code></p>
<p>&#x8303;&#x56F4;&#xFF1A; <code>scrapy.extensions.memusage</code></p>
<p>&#x8981;&#x8FBE;&#x5230;&#x5185;&#x5B58;&#x9650;&#x5236;&#x65F6;&#x901A;&#x77E5;&#x7684;&#x7535;&#x5B50;&#x90AE;&#x4EF6;&#x5217;&#x8868;&#x3002;</p>
<p>&#x4F8B;&#xFF1A;</p>
<pre><code>MEMUSAGE_NOTIFY_MAIL = [&apos;user@example.com&apos;]1
</code></pre><p>&#x8BF7;&#x53C2;&#x9605;<a href="https://doc.scrapy.org/en/1.3/topics/extensions.html#topics-extensions-ref-memusage" target="_blank">&#x5185;&#x5B58;&#x4F7F;&#x7528;&#x6269;&#x5C55;</a>&#x3002;</p>
<h3 id="memusagereport">MEMUSAGE_REPORT</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>False</code></p>
<p>&#x8303;&#x56F4;&#xFF1A; <code>scrapy.extensions.memusage</code></p>
<p>&#x662F;&#x5426;&#x5728;&#x6BCF;&#x4E2A;&#x722C;&#x866B;&#x5173;&#x95ED;&#x540E;&#x53D1;&#x9001;&#x5185;&#x5B58;&#x4F7F;&#x7528;&#x62A5;&#x544A;&#x3002;</p>
<p>&#x8BF7;&#x53C2;&#x9605;&#x5185;&#x5B58;&#x4F7F;&#x7528;&#x6269;&#x5C55;&#x3002;</p>
<h3 id="memusagewarningmb">MEMUSAGE_WARNING_MB</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>0</code></p>
<p>&#x8303;&#x56F4;&#xFF1A; <code>scrapy.extensions.memusage</code></p>
<p>&#x5728;&#x53D1;&#x9001;&#x8B66;&#x544A;&#x7535;&#x5B50;&#x90AE;&#x4EF6;&#x901A;&#x77E5;&#x4E4B;&#x524D;&#xFF0C;&#x8981;&#x5141;&#x8BB8;&#x7684;&#x6700;&#x5927;&#x5185;&#x5B58;&#x91CF;&#xFF08;&#x4EE5;&#x5146;&#x5B57;&#x8282;&#x4E3A;&#x5355;&#x4F4D;&#xFF09;&#x3002;&#x5982;&#x679C;&#x4E3A;&#x96F6;&#xFF0C;&#x5219;&#x4E0D;&#x4F1A;&#x4EA7;&#x751F;&#x8B66;&#x544A;&#x3002;</p>
<h3 id="newspidermodule">NEWSPIDER_MODULE</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>&apos;&apos;</code></p>
<p>&#x6A21;&#x5757;&#x5728;&#x54EA;&#x91CC;&#x4F7F;&#x7528;<code>genspider</code>&#x547D;&#x4EE4;&#x521B;&#x5EFA;&#x65B0;&#x7684;&#x722C;&#x866B;&#x3002;</p>
<p>&#x4F8B;&#xFF1A;</p>
<pre><code>NEWSPIDER_MODULE = &apos;mybot.spiders_dev&apos;1
</code></pre><h3 id="randomizedownloaddelay">RANDOMIZE_DOWNLOAD_DELAY</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>True</code></p>
<p>&#x5982;&#x679C;&#x542F;&#x7528;&#xFF0C;Scrapy&#x4F1A;&#x5728;&#x4ECE;&#x540C;&#x4E00;&#x7F51;&#x7AD9;&#x83B7;&#x53D6;&#x8BF7;&#x6C42;&#x65F6;&#x7B49;&#x5F85;&#x968F;&#x673A;&#x65F6;&#x95F4;&#xFF08;&#x4ECB;&#x4E8E;0.5 <em> <code>DOWNLOAD_DELAY</code>&#x548C;1.5 </em>&#x4E4B;&#x95F4;<code>DOWNLOAD_DELAY</code>&#xFF09;&#x3002;</p>
<p>&#x8BE5;&#x968F;&#x673A;&#x5316;&#x964D;&#x4F4E;&#x4E86;&#x7531;&#x5206;&#x6790;&#x8BF7;&#x6C42;&#x7684;&#x7AD9;&#x70B9;&#x68C0;&#x6D4B;&#xFF08;&#x5E76;&#x968F;&#x540E;&#x963B;&#x585E;&#xFF09;&#x722C;&#x884C;&#x5668;&#x7684;&#x673A;&#x4F1A;&#xFF0C;&#x6240;&#x8FF0;&#x7AD9;&#x70B9;&#x5728;&#x5B83;&#x4EEC;&#x7684;&#x8BF7;&#x6C42;&#x4E4B;&#x95F4;&#x7684;&#x65F6;&#x95F4;&#x5185;&#x5BFB;&#x627E;&#x7EDF;&#x8BA1;&#x4E0A;&#x663E;&#x7740;&#x7684;&#x76F8;&#x4F3C;&#x6027;&#x3002;</p>
<p>&#x968F;&#x673A;&#x5316;&#x7B56;&#x7565;&#x4E0E;wget &#x2013;random-wait&#x9009;&#x9879;&#x4F7F;&#x7528;&#x7684;&#x7B56;&#x7565;&#x76F8;&#x540C;&#x3002;</p>
<p>&#x5982;&#x679C;<code>DOWNLOAD_DELAY</code>&#x4E3A;&#x96F6;&#xFF08;&#x9ED8;&#x8BA4;&#xFF09;&#xFF0C;&#x6B64;&#x9009;&#x9879;&#x4E0D;&#x8D77;&#x4F5C;&#x7528;&#x3002;</p>
<h3 id="reactorthreadpoolmaxsize">REACTOR_THREADPOOL_MAXSIZE</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>10</code></p>
<p>Twisted Reactor&#x7EBF;&#x7A0B;&#x6C60;&#x5927;&#x5C0F;&#x7684;&#x4E0A;&#x9650;&#x3002;&#x8FD9;&#x662F;&#x5404;&#x79CD;Scrapy&#x7EC4;&#x4EF6;&#x4F7F;&#x7528;&#x7684;&#x5E38;&#x89C1;&#x591A;&#x7528;&#x9014;&#x7EBF;&#x7A0B;&#x6C60;&#x3002;&#x7EBF;&#x7A0B;DNS&#x89E3;&#x6790;&#x5668;&#xFF0C;BlockingFeedStorage&#xFF0C;S3FilesStore&#x4EC5;&#x4E3E;&#x51E0;&#x4E2A;&#x4F8B;&#x5B50;&#x3002;&#x5982;&#x679C;&#x60A8;&#x9047;&#x5230;&#x963B;&#x585E;IO&#x4E0D;&#x8DB3;&#x7684;&#x95EE;&#x9898;&#xFF0C;&#x8BF7;&#x589E;&#x52A0;&#x6B64;&#x503C;&#x3002;</p>
<h3 id="redirectmaxtimes">REDIRECT_MAX_TIMES</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; 20</p>
<p>&#x5B9A;&#x4E49;&#x8BF7;&#x6C42;&#x53EF;&#x91CD;&#x5B9A;&#x5411;&#x7684;&#x6700;&#x957F;&#x65F6;&#x95F4;&#x3002;&#x5728;&#x6B64;&#x6700;&#x5927;&#x503C;&#x4E4B;&#x540E;&#xFF0C;&#x8BF7;&#x6C42;&#x7684;&#x54CD;&#x5E94;&#x88AB;&#x539F;&#x6837;&#x8FD4;&#x56DE;&#x3002;&#x6211;&#x4EEC;&#x5BF9;&#x540C;&#x4E00;&#x4E2A;&#x4EFB;&#x52A1;&#x4F7F;&#x7528;Firefox&#x9ED8;&#x8BA4;&#x503C;&#x3002;</p>
<h3 id="redirectpriorityadjust">REDIRECT_PRIORITY_ADJUST</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; +2</p>
<p>&#x8303;&#x56F4;&#xFF1A; scrapy.downloadermiddlewares.redirect.RedirectMiddleware</p>
<p>&#x76F8;&#x5BF9;&#x4E8E;&#x539F;&#x59CB;&#x8BF7;&#x6C42;&#x8C03;&#x6574;&#x91CD;&#x5B9A;&#x5411;&#x8BF7;&#x6C42;&#x4F18;&#x5148;&#x7EA7;&#xFF1A;</p>
<ul>
<li>&#x6B63;&#x4F18;&#x5148;&#x7EA7;&#x8C03;&#x6574;&#xFF08;&#x9ED8;&#x8BA4;&#xFF09;&#x610F;&#x5473;&#x7740;&#x66F4;&#x9AD8;&#x7684;&#x4F18;&#x5148;&#x7EA7;&#x3002;</li>
<li>&#x8D1F;&#x4F18;&#x5148;&#x7EA7;&#x8C03;&#x6574;&#x610F;&#x5473;&#x7740;&#x8F83;&#x4F4E;&#x4F18;&#x5148;&#x7EA7;&#x3002;</li>
</ul>
<h3 id="retrypriorityadjust">RETRY_PRIORITY_ADJUST</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>-1</code></p>
<p>&#x8303;&#x56F4;&#xFF1A; <code>scrapy.downloadermiddlewares.retry.RetryMiddleware</code></p>
<p>&#x8C03;&#x6574;&#x76F8;&#x5BF9;&#x4E8E;&#x539F;&#x59CB;&#x8BF7;&#x6C42;&#x7684;&#x91CD;&#x8BD5;&#x8BF7;&#x6C42;&#x4F18;&#x5148;&#x7EA7;&#xFF1A;</p>
<ul>
<li>&#x6B63;&#x4F18;&#x5148;&#x7EA7;&#x8C03;&#x6574;&#x610F;&#x5473;&#x7740;&#x66F4;&#x9AD8;&#x7684;&#x4F18;&#x5148;&#x7EA7;&#x3002;</li>
<li>&#x8D1F;&#x4F18;&#x5148;&#x7EA7;&#x8C03;&#x6574;&#xFF08;&#x9ED8;&#x8BA4;&#xFF09;&#x8868;&#x793A;&#x8F83;&#x4F4E;&#x4F18;&#x5148;&#x7EA7;&#x3002;</li>
</ul>
<h3 id="robotstxtobey">ROBOTSTXT_OBEY</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>False</code></p>
<p>&#x8303;&#x56F4;&#xFF1A; <code>scrapy.downloadermiddlewares.robotstxt</code></p>
<p>&#x5982;&#x679C;&#x542F;&#x7528;&#xFF0C;Scrapy&#x4F1A;&#x5C0A;&#x91CD;robots.txt&#x653F;&#x7B56;&#x3002;&#x6709;&#x5173;&#x8BE6;&#x7EC6;&#x4FE1;&#x606F;&#xFF0C;&#x8BF7;&#x53C2;&#x9605; <a href="https://doc.scrapy.org/en/1.3/topics/downloader-middleware.html#topics-dlmw-robots" target="_blank">RobotsTxtMiddleware</a>&#x3002;</p>
<h4 id="&#x6CE8;&#x610F;">&#x6CE8;&#x610F;</h4>
<p>&#x867D;&#x7136;&#x9ED8;&#x8BA4;&#x503C;&#x662F;<code>False</code>&#x7531;&#x4E8E;&#x5386;&#x53F2;&#x539F;&#x56E0;&#xFF0C;&#x9ED8;&#x8BA4;&#x60C5;&#x51B5;&#x4E0B;&#x5728;settings.py&#x6587;&#x4EF6;&#x4E2D;&#x901A;&#x8FC7;&#x547D;&#x4EE4;&#x751F;&#x6210;&#x6B64;&#x9009;&#x9879;&#x3002;<code>scrapy startproject</code></p>
<h3 id="scheduler">SCHEDULER</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>&apos;scrapy.core.scheduler.Scheduler&apos;</code></p>
<p>&#x7528;&#x4E8E;&#x722C;&#x7F51;&#x7684;&#x8C03;&#x5EA6;&#x7A0B;&#x5E8F;&#x3002;</p>
<h3 id="schedulerdebug">SCHEDULER_DEBUG</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>False</code></p>
<p>&#x8BBE;&#x7F6E;True&#x5C06;&#x8BB0;&#x5F55;&#x6709;&#x5173;&#x8BF7;&#x6C42;&#x8C03;&#x5EA6;&#x7A0B;&#x5E8F;&#x7684;&#x8C03;&#x8BD5;&#x4FE1;&#x606F;&#x3002;&#x5982;&#x679C;&#x8BF7;&#x6C42;&#x65E0;&#x6CD5;&#x5E8F;&#x5217;&#x5316;&#x5230;&#x78C1;&#x76D8;&#xFF0C;&#x5219;&#x5F53;&#x524D;&#x65E5;&#x5FD7;&#xFF08;&#x4EC5;&#x4E00;&#x6B21;&#xFF09;&#x3002;Stats counter&#xFF08;<code>scheduler/unserializable</code>&#xFF09;&#x8DDF;&#x8E2A;&#x53D1;&#x751F;&#x7684;&#x6B21;&#x6570;&#x3002;</p>
<p>&#x65E5;&#x5FD7;&#x4E2D;&#x7684;&#x793A;&#x4F8B;&#x6761;&#x76EE;&#xFF1A;</p>
<pre><code>1956-01-31 00:00:00+0800 [scrapy.core.scheduler] ERROR: Unable to serialize request:
&lt;GET http://example.com&gt; - reason: cannot serialize &lt;Request at 0x9a7c7ec&gt;
(type Request)&gt; - no more unserializable requests will be logged
(see &apos;scheduler/unserializable&apos; stats counter)1234
</code></pre><h3 id="schedulerdiskqueue">SCHEDULER_DISK_QUEUE</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>&apos;scrapy.squeues.PickleLifoDiskQueue&apos;</code></p>
<p>&#x5C06;&#x7531;&#x8C03;&#x5EA6;&#x7A0B;&#x5E8F;&#x4F7F;&#x7528;&#x7684;&#x78C1;&#x76D8;&#x961F;&#x5217;&#x7684;&#x7C7B;&#x578B;&#x3002;&#x5176;&#x5B83;&#x53EF;&#x7528;&#x7684;&#x7C7B;&#x578B;&#x6709; <code>scrapy.squeues.PickleFifoDiskQueue</code>&#xFF0C;<code>scrapy.squeues.MarshalFifoDiskQueue</code>&#xFF0C; <code>scrapy.squeues.MarshalLifoDiskQueue</code>&#x3002;</p>
<h3 id="schedulermemoryqueue">SCHEDULER_MEMORY_QUEUE</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>&apos;scrapy.squeues.LifoMemoryQueue&apos;</code></p>
<p>&#x8C03;&#x5EA6;&#x7A0B;&#x5E8F;&#x4F7F;&#x7528;&#x7684;&#x5185;&#x5B58;&#x4E2D;&#x961F;&#x5217;&#x7684;&#x7C7B;&#x578B;&#x3002;&#x5176;&#x4ED6;&#x53EF;&#x7528;&#x7C7B;&#x578B;&#x662F;&#xFF1A; <code>scrapy.squeues.FifoMemoryQueue</code>&#x3002;</p>
<h3 id="schedulerpriorityqueue">SCHEDULER_PRIORITY_QUEUE</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>&apos;queuelib.PriorityQueue&apos;</code></p>
<p>&#x8C03;&#x5EA6;&#x7A0B;&#x5E8F;&#x4F7F;&#x7528;&#x7684;&#x4F18;&#x5148;&#x7EA7;&#x961F;&#x5217;&#x7684;&#x7C7B;&#x578B;&#x3002;</p>
<h3 id="spidercontracts">SPIDER_CONTRACTS</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A;&#xFF1A; <code>{}</code></p>
<p>&#x5305;&#x542B;&#x5728;&#x9879;&#x76EE;&#x4E2D;&#x542F;&#x7528;&#x7684;&#x722C;&#x866B;&#x5951;&#x7EA6;&#x7684;dict&#xFF0C;&#x7528;&#x4E8E;&#x6D4B;&#x8BD5;&#x722C;&#x866B;&#x3002;&#x6709;&#x5173;&#x66F4;&#x591A;&#x4FE1;&#x606F;&#xFF0C;&#x8BF7;&#x53C2;&#x9605;<a href="https://doc.scrapy.org/en/1.3/topics/contracts.html#topics-contracts" target="_blank">&#x722C;&#x866B;&#x5408;&#x540C;</a>&#x3002;</p>
<h3 id="spidercontractsbase">SPIDER_CONTRACTS_BASE</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A;</p>
<pre><code>{
    &apos;scrapy.contracts.default.UrlContract&apos; : 1,
    &apos;scrapy.contracts.default.ReturnsContract&apos;: 2,
    &apos;scrapy.contracts.default.ScrapesContract&apos;: 3,
}12345
</code></pre><p>&#x5305;&#x542B;Scrapy&#x4E2D;&#x9ED8;&#x8BA4;&#x542F;&#x7528;&#x7684;scrapy&#x5408;&#x7EA6;&#x7684;dict&#x3002;&#x60A8;&#x4E0D;&#x5E94;&#x8BE5;&#x5728;&#x9879;&#x76EE;&#x4E2D;&#x4FEE;&#x6539;&#x6B64;&#x8BBE;&#x7F6E;&#xFF0C;SPIDER_CONTRACTS &#x800C;&#x5E94;&#x4FEE;&#x6539;&#x3002;&#x6709;&#x5173;&#x66F4;&#x591A;&#x4FE1;&#x606F;&#xFF0C;&#x8BF7;&#x53C2;&#x9605;<a href="https://doc.scrapy.org/en/1.3/topics/contracts.html#topics-contracts" target="_blank">&#x722C;&#x866B;&#x5408;&#x540C;</a>&#x3002;</p>
<p>&#x60A8;&#x53EF;&#x4EE5;&#x901A;&#x8FC7;<code>None</code>&#x5C06;&#x5176;&#x4E2D;&#x7684;&#x7C7B;&#x8DEF;&#x5F84;&#x6307;&#x5B9A;&#x4E3A;&#x7981;&#x7528;&#x4EFB;&#x4F55;&#x8FD9;&#x4E9B;&#x5408;&#x540C;<code>SPIDER_CONTRACTS</code>&#x3002;&#x4F8B;&#x5982;&#xFF0C;&#x8981;&#x7981;&#x7528;&#x5185;&#x7F6E; <code>ScrapesContract</code>&#xFF0C;&#x5C06;&#x6B64;&#x653E;&#x5728;&#x60A8;&#x7684;<code>settings.py</code>&#xFF1A;</p>
<pre><code>SPIDER_CONTRACTS = {
    &apos;scrapy.contracts.default.ScrapesContract&apos;: None,
}123
</code></pre><h3 id="spiderloaderclass">SPIDER_LOADER_CLASS</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>&apos;scrapy.spiderloader.SpiderLoader&apos;</code></p>
<p>&#x5C06;&#x7528;&#x4E8E;&#x52A0;&#x8F7D;&#x722C;&#x866B;&#x7A0B;&#x5E8F;&#x7684;&#x7C7B;&#xFF0C;&#x5B83;&#x5FC5;&#x987B;&#x5B9E;&#x73B0; <a href="https://doc.scrapy.org/en/1.3/topics/api.html#topics-api-spiderloader" target="_blank">SpiderLoader API</a>&#x3002;</p>
<h3 id="spiderloaderwarnonly">SPIDER_LOADER_WARN_ONLY</h3>
<p>&#x65B0;&#x7248;&#x672C;1.3.3&#x3002;</p>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>False</code></p>
<p>&#x9ED8;&#x8BA4;&#x60C5;&#x51B5;&#x4E0B;&#xFF0C;&#x5F53;scrapy&#x5C1D;&#x8BD5;&#x4ECE;&#x4E2D;&#x5BFC;&#x5165;&#x722C;&#x866B;&#x7C7B;&#x65F6;<code>SPIDER_MODULES</code>&#xFF0C;&#x5982;&#x679C;&#x6709;&#x4EFB;&#x4F55;<code>ImportError</code>&#x5F02;&#x5E38;&#xFF0C;&#x5B83;&#x5C06;&#x5927;&#x58F0;&#x5931;&#x8D25;&#x3002;&#x4F46;&#x662F;&#x4F60;&#x53EF;&#x4EE5;&#x9009;&#x62E9;&#x6C89;&#x9ED8;&#x6B64;&#x5F02;&#x5E38;&#xFF0C;&#x5E76;&#x901A;&#x8FC7;&#x8BBE;&#x7F6E;&#x5C06;&#x5176;&#x53D8;&#x6210;&#x4E00;&#x4E2A;&#x7B80;&#x5355;&#x7684;&#x8B66;&#x544A;&#x3002;<code>SPIDER_LOADER_WARN_ONLY = True</code></p>
<h4 id="&#x6CE8;&#x610F;">&#x6CE8;&#x610F;</h4>
<p>&#x6709;&#x4E9B;scrapy&#x547D;&#x4EE4;&#x4F7F;&#x7528;&#x6B64;&#x8BBE;&#x7F6E;&#x8FD0;&#x884C;<code>True</code> &#x5DF2;&#x7ECF;&#xFF08;&#x5373;&#x4ED6;&#x4EEC;&#x53EA;&#x4F1A;&#x53D1;&#x51FA;&#x8B66;&#x544A;&#x5E76;&#x4E0D;&#x4F1A;&#x5931;&#x8D25;&#xFF09;&#xFF0C;&#x56E0;&#x4E3A;&#x4ED6;&#x4EEC;&#x5B9E;&#x9645;&#x4E0A;&#x5E76;&#x4E0D;&#x9700;&#x8981;&#x52A0;&#x8F7D;&#x722C;&#x866B;&#x7C7B;&#x7684;&#x5DE5;&#x4F5C;: <code>scrapy runspider</code>, <code>scrapy settings</code>, <code>scrapy startproject</code>, <code>scrapy version</code>.</p>
<h3 id="spidermiddlewares">SPIDER_MIDDLEWARES</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A;&#xFF1A; {}</p>
<p>&#x5305;&#x542B;&#x5728;&#x60A8;&#x7684;&#x9879;&#x76EE;&#x4E2D;&#x542F;&#x7528;&#x7684;&#x722C;&#x866B;&#x4E2D;&#x95F4;&#x4EF6;&#x7684;&#x5B57;&#x5178;&#x53CA;&#x5176;&#x987A;&#x5E8F;&#x3002;&#x6709;&#x5173;&#x66F4;&#x591A;&#x4FE1;&#x606F;&#xFF0C;&#x8BF7;&#x53C2;&#x9605;&#x6FC0;&#x6D3B;&#x722C;&#x866B;&#x4E2D;&#x95F4;&#x4EF6;&#x3002;</p>
<h3 id="spidermiddlewaresbase">SPIDER_MIDDLEWARES_BASE</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A;</p>
<pre><code>{
    &apos;scrapy.spidermiddlewares.httperror.HttpErrorMiddleware&apos;: 50,
    &apos;scrapy.spidermiddlewares.offsite.OffsiteMiddleware&apos;: 500,
    &apos;scrapy.spidermiddlewares.referer.RefererMiddleware&apos;: 700,
    &apos;scrapy.spidermiddlewares.urllength.UrlLengthMiddleware&apos;: 800,
    &apos;scrapy.spidermiddlewares.depth.DepthMiddleware&apos;: 900,
}1234567
</code></pre><p>&#x5305;&#x542B;&#x5728;Scrapy&#x4E2D;&#x9ED8;&#x8BA4;&#x542F;&#x7528;&#x7684;&#x722C;&#x866B;&#x4E2D;&#x95F4;&#x4EF6;&#x7684;&#x5B57;&#x5178;&#x53CA;&#x5176;&#x987A;&#x5E8F;&#x3002;&#x4F4E;&#x8BA2;&#x5355;&#x66F4;&#x9760;&#x8FD1;&#x53D1;&#x52A8;&#x673A;&#xFF0C;&#x9AD8;&#x8BA2;&#x5355;&#x66F4;&#x63A5;&#x8FD1;&#x722C;&#x866B;&#x3002;&#x6709;&#x5173;&#x66F4;&#x591A;&#x4FE1;&#x606F;&#xFF0C;&#x8BF7;&#x53C2;&#x9605;&#x6FC0;&#x6D3B;&#x722C;&#x866B;&#x4E2D;&#x95F4;&#x4EF6;&#x3002;</p>
<p>SPIDER_MODULES 
&#x9ED8;&#x8BA4;&#xFF1A; []</p>
<p>Scrapy&#x5C06;&#x5BFB;&#x627E;&#x722C;&#x866B;&#x7684;&#x6A21;&#x5757;&#x5217;&#x8868;&#x3002;</p>
<p>&#x4F8B;&#xFF1A;</p>
<pre><code>SPIDER_MODULES = [&apos;mybot.spiders_prod&apos;, &apos;mybot.spiders_dev&apos;]1
</code></pre><h3 id="statsclass">STATS_CLASS</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>&apos;scrapy.statscollectors.MemoryStatsCollector&apos;</code></p>
<p>&#x7528;&#x4E8E;&#x6536;&#x96C6;&#x7EDF;&#x8BA1;&#x4FE1;&#x606F;&#x7684;&#x7C7B;&#xFF0C;&#x8C01;&#x5FC5;&#x987B;&#x5B9E;&#x73B0; <a href="https://doc.scrapy.org/en/1.3/topics/api.html#topics-api-stats" target="_blank">Stats Collector API</a>&#x3002;</p>
<p>STATS_DUMP 
&#x9ED8;&#x8BA4;&#xFF1A; True</p>
<p>&#x4E00;&#x65E6;&#x722C;&#x866B;&#x5B8C;&#x6210;&#xFF0C;&#x8F6C;&#x50A8;<a href="https://doc.scrapy.org/en/1.3/topics/stats.html#topics-stats" target="_blank">Scrapy&#x7EDF;&#x8BA1;</a>&#xFF08;&#x5230;Scrapy&#x65E5;&#x5FD7;&#xFF09;&#x3002;</p>
<p>&#x66F4;&#x591A;&#x4FE1;&#x606F;&#x8BF7;&#x53C2;&#x9605;&#xFF1A;<a href="https://doc.scrapy.org/en/1.3/topics/stats.html#topics-stats" target="_blank">&#x7EDF;&#x8BA1;&#x6570;&#x636E;&#x6536;&#x96C6;</a>&#x3002;</p>
<h3 id="statsmailerrcpts">STATSMAILER_RCPTS</h3>
<p>&#x9ED8;&#x8BA4;:( <code>[]</code>&#x7A7A;&#x5217;&#x8868;&#xFF09;</p>
<p>&#x722C;&#x866B;&#x5B8C;&#x6210;&#x522E;&#x64E6;&#x540E;&#x53D1;&#x9001;Scrapy stats&#x3002;&#x67E5;&#x770B; StatsMailer&#x66F4;&#x591A;&#x4FE1;&#x606F;&#x3002;</p>
<h3 id="telnetconsoleenabled">TELNETCONSOLE_ENABLED</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>True</code></p>
<p>&#x5E03;&#x5C14;&#x503C;&#xFF0C;&#x6307;&#x5B9A;&#x662F;&#x5426; &#x542F;&#x7528;<a href="https://doc.scrapy.org/en/1.3/topics/telnetconsole.html#topics-telnetconsole" target="_blank">telnet&#x63A7;&#x5236;&#x53F0;</a>&#xFF08;&#x5982;&#x679C;&#x5176;&#x6269;&#x5C55;&#x540D;&#x4E5F;&#x542F;&#x7528;&#xFF09;&#x3002;</p>
<h3 id="telnetconsoleport">TELNETCONSOLE_PORT</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>[6023, 6073]</code></p>
<p>&#x7528;&#x4E8E;telnet&#x63A7;&#x5236;&#x53F0;&#x7684;&#x7AEF;&#x53E3;&#x8303;&#x56F4;&#x3002;&#x5982;&#x679C;&#x8BBE;&#x7F6E;&#x4E3A;None&#x6216;0&#xFF0C;&#x5219;&#x4F7F;&#x7528;&#x52A8;&#x6001;&#x5206;&#x914D;&#x7684;&#x7AEF;&#x53E3;&#x3002;&#x6709;&#x5173;&#x8BE6;&#x7EC6;&#x4FE1;&#x606F;&#xFF0C;&#x8BF7;&#x53C2;&#x9605; <a href="https://doc.scrapy.org/en/1.3/topics/telnetconsole.html#topics-telnetconsole" target="_blank">telnet&#x63A7;&#x5236;&#x53F0;</a>&#x3002;</p>
<h3 id="templatesdir">TEMPLATES_DIR</h3>
<p>&#x9ED8;&#x8BA4;&#x503C;&#xFF1A;<code>templates</code> dir&#x91CC;&#x9762;&#x7684;scrapy&#x6A21;&#x5757;</p>
<p>&#x4F7F;&#x7528;<code>startproject</code>&#x547D;&#x4EE4;&#x548C;&#x65B0;&#x722C;&#x866B;&#x521B;&#x5EFA;&#x65B0;&#x9879;&#x76EE;&#x65F6;&#x4F7F;&#x7528;&#x547D;&#x4EE4;&#x67E5;&#x627E;&#x6A21;&#x677F;&#x7684;&#x76EE;&#x5F55; <code>genspider</code> &#x3002;</p>
<p>&#x9879;&#x76EE;&#x540D;&#x79F0;&#x4E0D;&#x5F97;&#x4E0E;&#x5B50;&#x76EE;&#x5F55;&#x4E2D;&#x7684;&#x81EA;&#x5B9A;&#x4E49;&#x6587;&#x4EF6;&#x6216;&#x76EE;&#x5F55;&#x7684;&#x540D;&#x79F0;&#x51B2;&#x7A81;<code>project</code>&#x3002;</p>
<h3 id="urllengthlimit">URLLENGTH_LIMIT</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>2083</code></p>
<p>&#x8303;&#x56F4;&#xFF1A; <code>spidermiddlewares.urllength</code></p>
<p>&#x5141;&#x8BB8;&#x6293;&#x53D6;&#x7F51;&#x5740;&#x7684;&#x6700;&#x5927;&#x7F51;&#x5740;&#x957F;&#x5EA6;&#x3002;&#x6709;&#x5173;&#x6B64;&#x8BBE;&#x7F6E;&#x7684;&#x9ED8;&#x8BA4;&#x503C;&#x7684;&#x8BE6;&#x7EC6;&#x4FE1;&#x606F;&#xFF0C;&#x8BF7;&#x53C2;&#x9605;<a href="http://www.boutell.com/newfaq/misc/urllength.html" target="_blank">http://www.boutell.com/newfaq/misc/urllength.html</a></p>
<h3 id="useragent">USER_AGENT</h3>
<p>&#x9ED8;&#x8BA4;&#xFF1A; <code>&quot;Scrapy/VERSION (+http://scrapy.org)&quot;</code></p>
<p>&#x68C0;&#x7D22;&#x65F6;&#x4F7F;&#x7528;&#x7684;&#x9ED8;&#x8BA4;&#x7528;&#x6237;&#x4EE3;&#x7406;&#xFF0C;&#x9664;&#x975E;&#x88AB;&#x8986;&#x76D6;&#x3002;</p>

                    
                    </section>
                
                
                </div>
            </div>
        </div>

        
        <a href="../scrapy框架/scrapy.html" class="navigation navigation-prev " aria-label="Previous page: Scrapy"><i class="fa fa-angle-left"></i></a>
        
        
        <a href="../scrapy框架/模块作用.html" class="navigation navigation-next " aria-label="Next page: 模块作用"><i class="fa fa-angle-right"></i></a>
        
    </div>
</div>

        
<script src="../gitbook/app.js"></script>

    
    <script src="../gitbook/plugins/gitbook-plugin-search/lunr.min.js"></script>
    

    
    <script src="../gitbook/plugins/gitbook-plugin-search/search.js"></script>
    

    
    <script src="../gitbook/plugins/gitbook-plugin-sharing/buttons.js"></script>
    

    
    <script src="../gitbook/plugins/gitbook-plugin-fontsettings/buttons.js"></script>
    

<script>
require(["gitbook"], function(gitbook) {
    var config = {"highlight":{},"search":{"maxIndexSize":1000000},"sharing":{"facebook":true,"twitter":true,"google":false,"weibo":false,"instapaper":false,"vk":false,"all":["facebook","google","twitter","weibo","instapaper"]},"fontsettings":{"theme":"white","family":"sans","size":2}};
    gitbook.start(config);
});
</script>

        
    </body>
    
</html>
